前置

目标

给定中心化时间序列 与滞后 ,在单位方差与 -正交约束下,依次寻找使投影信号滞后自相关最大的线性方向。

设定

时间平均 与概率测度 沿用 慢特征分析(SFA)。给定滞后 ,滞后量只在 与 同时属于 时有定义。记

并设 。滞后平均是 在 上的归一化限制:

下文的 、 与差分协方差都使用这一平均,左右端点来自同一批配对。过程二阶平稳且平均改为关于平稳分布的期望时,端点效应消失,该平均与全时段平均给出同一二阶矩。

设 在配对窗口上已中心化,且各分量平方可积:

滞后协方差

定义零滞后协方差、滞后协方差、右端协方差及其对称部分:

与 实对称半正定。 一般不对称: 把时间方向反过来。称二阶平稳,若 。

命题(二次型只依赖对称部分)

对任意 与任意 ,

特别地,。

单个实值投影的滞后乘积平均因此不区分 与 。反对称部分 对一切实二次型贡献为零;它进入非对称的向量传播,见后文可逆性。

自相关与优化问题

对线性投影 ,在 时定义滞后自相关

这是 相对 的广义 Rayleigh 商。

命题(齐次性:Rayleigh 商与单位方差约束等价)

设 。则 零次齐次:对任意 与 ,,并且

两边的最优方向相同,相差一个非零倍数。若只知 ,Rayleigh 商在 上无定义。可行集改为 ,或先由 PCA 投影到 的正特征子空间,再在该子空间上使用正定情形。

线性 TICA 因此依次求解

时 ; 时 。正交由内积 给出,与 SFA 中的 -内积同一角色。取前 个方向组成 ,投影为 。

广义特征值与白化求解

第一个方向是

由 拉格朗日乘子法,令 。两个矩阵都对称,驻点条件 给出

左乘 并代入 ,得 。 只保证对称,不保证半正定,广义特征值可以为负。目标是最大化自相关,故按特征值从大到小选取;SFA 最小化导数二次型,取得的是最小特征值。

奇异时,先用 PCA 去掉 ,再在正特征子空间上白化。以下三个命题设 。

命题(白化变换)

设 。定义

则 是 上的双射, 实对称,且

不必半正定。

命题(对称谱给出全部广义特征向量)

沿用上一命题的记号。实对称矩阵 有正交特征分解 ,其中 ,,,并按 排列。令 。则

命题(逐次最大自相关)

沿用上述记号,特征值按降序 。对 ,若前 个方向已取为 (),则

最大值当且仅当 属于 且 时达到。单根时最优方向在正负号意义下为 ;重根时,在该特征值余下的广义特征子空间中任取 -标准正交方向。

命题(矩阵形式:前 个方向的总自相关)

沿用上述记号。对满足 的 ,

当 时达到。

表示对应投影在滞后 上反相关。比较定理不把这些方向排除在外;只是它们不会被选进前 个最大特征值,除非更大的特征值不足 个。

与离散时间 SFA 的关系

SFA 的离散形式用滞后差分代替时间导数。在同一滞后平均下,记 与 ,

于是 。离散 SFA 在 下最小化总差分,广义特征值记为 。这里的 与 SFA 笔记中的 是同一瞬时协方差在同一窗口上的两种记号。

命题(差分协方差与滞后协方差)

若二阶平稳(),则 。此时 已经推出 ,并且

广义特征值问题 与 的特征向量相同,特征值满足 。最小化 与最大化 选出同一组方向,排序相反。在该平稳性下 ,。

没有二阶平稳时,

单位 -方差并不推出未来方差为 ,两个广义特征值问题也不再只差平移。

命题(小滞后与连续时间 SFA)

设 ,二阶平稳,且 。再设差分商在滞后窗口的 中收敛到该导数: 时,各分量满足

记 为连续时间 SFA 的导数协方差。则 ,并且在紧集 上一致地有

因此 时,TICA 最大自相关方向的任一极限点都是连续时间 SFA 的最小导数方向。若另有 且 ,则该方向上 。

布朗运动的增量满足 ,差分协方差是 而不是 ,轨道在 意义下不可微。滞后形式的 仍有定义,连续时间导数形式的 SFA 不适用,上面的 展开不成立。

传播算子与时间尺度

设 平稳,边际为 ,坐标函数属于 ,且上文的时间平均等于关于 的期望。滞后传播算子作用在观测上:

在该条件期望确定 上一个压缩算子的意义下。于是

取坐标函数,。

命题(坐标子空间上的 Galerkin 条件)

设 在所讨论的子空间上可逆。 与 满足 ,当且仅当残差 与每一个坐标函数在 中正交。可逆动力学下 对称,该条件就是 ,从而 TICA 的特征值是 在坐标张成子空间上的 Galerkin 谱,不是 在整个 上的谱。二者相同,当且仅当相应特征函数落在这个子空间里。

把输入从原始坐标换成距离、二面角或其它可测映射 ,优化形式不变: 与 改为 的二阶矩,试探子空间改为 。

可逆连续时间马尔可夫过程的传播算子构成自伴半群时,非平凡特征值形如 ,。若计算得到的 ,定义隐含时间尺度

半群情形下 ,与 无关。 时对数没有定义:负特征值表示滞后 上的反相关,不对应正的指数衰减时间。有限状态转移矩阵的谱决定分布收敛的速率,见 有限状态离散时间时齐马尔可夫链。分子动力学里常用 TICA 先把构象压到少数坐标,再离散化这些坐标来估计转移矩阵 (Pérez-Hernández et al., 2013)。这样得到的是所选特征子空间上的变分近似。

可逆性与对称化

细致平衡是指平稳分布 与滞后转移核满足

此时 在 上自伴,。对坐标函数,

即 。总体量不必再对称化。有限样本的 仍可以带数值上的反对称部分,对称化把它去掉。

不论是否可逆,实二次型都只看见 。不可逆时 不自伴, 可以出现复特征值,特征向量也不再构成 -正交基。改解 ,是对自伴部分 做 Galerkin 投影。反对称部分 里的概率环流不进入这个谱。

保留整块 的一种做法是 VAMP (Wu & Noé, 2020)。在 与 可逆时定义

VAMP-2 在 维线性子空间上最大化 前 个奇异值的平方和,最优子空间由这些奇异值的左右奇异向量张成。二阶平稳且细致平衡时 且 对称,于是 本身对称,奇异值分解退回 TICA 的正交特征分解。

滞后时间

是输入参数,不由广义特征值问题解出。

过小:各模态的 都靠近 , 的相对误差被放大, 对 的采样误差敏感。小滞后展开同时说明,此时 TICA 退回局部导数,快噪声与慢变量在自相关上尚未分开。

过大:慢模态衰减到与采样噪声同量级,配对数减少,离散样本中为 , 的方差变大。 接近 时 同样不稳定。

检查方法是画出 随 的变化。可逆半群的总体时间尺度不依赖 ,平台表示估计进入了与该分辨率相容的区间。平台不是模型正确的充分条件:采样不足、记忆未衰减,或慢特征函数不在所选子空间中,都可以产生一段平坦的曲线。

算法

设离散样本 ,滞后为整数步 ,记 。先减去全轨迹均值 。配对窗口的左右均值仍可能因端点不同而不相等;二者不相等时二阶平稳不成立,差分恒等式必须保留 。

  1. 用同一批配对估计
  1. 奇异或病态时,用 PCA 保留大于阈值的特征值,把 、 与 换成该子空间中的坐标。

  2. 计算 ,作正交特征分解 ,按 排列。

  3. 取前 列 ,令 。则 ,投影为 。对 ,隐含时间尺度为 ,其中 为采样间隔,。

与 PCA、SFA 的对照

三种线性投影都是对称矩阵的二次型极值,差别在于被优化的矩阵和约束诱导的内积。

PCA 在 下最大化 ,取 的最大特征值。它只看同一时刻的方差,大方差方向可以是快噪声。

连续时间 SFA 在 下最小化 ,取导数协方差的最小广义特征值。离散形式把 换成 。二阶平稳且 与 使用同一滞后窗口时,这些方向与 TICA 相同,特征值关系为 。

TICA 在 下最大化 ,取最大广义特征值。它显式依赖 :同一条序列在不同滞后上可以选出不同方向。样本只在离散时刻取值时,滞后乘积不需要估计时间导数。

注记

特征向量的正负号不改变二次型。单根时 与 是同一方向。重根时,逐次最大自相关命题只确定重根子空间,其中的 -标准正交基可以旋转。

非平稳序列不满足 。全局减去一个常数均值也不能恢复这个等式。Rayleigh 商仍可计算,但 与 都不再成立,隐含时间尺度的指数解释也失去半群依据。

TICA 这个名字来自用时间滞后相关分离独立信源 (Molgedey & Schuster, 1994),不是极大化非高斯性或极小化互信息的独立成分分析。本文的目标是滞后自相关,用它提取慢线性坐标 (Pérez-Hernández et al., 2013)。

文献

Molgedey 与 Schuster 用时间滞后相关分离独立信号 (Molgedey & Schuster, 1994)。Pérez-Hernández 等把这一广义特征值问题用于分子动力学中的慢序参量,并由此构造马尔可夫模型 (Pérez-Hernández et al., 2013)。非可逆情形的奇异值形式见 Wu 与 Noé 的 VAMP (Wu & Noé, 2020)。

Molgedey, L., & Schuster, H. G. (1994). Separation of a Mixture of Independent Signals Using Time Delayed Correlations. Physical Review Letters, 72(23), 3634–3637. https://doi.org/10.1103/PhysRevLett.72.3634
Pérez-Hernández, G., Paul, F., Giorgino, T., De Fabritiis, G., & Noé, F. (2013). Identification of Slow Molecular Order Parameters for Markov Model Construction. The Journal of Chemical Physics, 139(1), 015102. https://doi.org/10.1063/1.4811489
Wu, H., & Noé, F. (2020). Variational Approach for Learning Markov Processes from Time Series Data. Journal of Nonlinear Science, 30, 23–66. https://doi.org/10.1007/s00332-019-09567-y