前置
目标
给定中心化时间序列 x ( t ) ∈ R d 与滞后 τ > 0 ,在单位方差与 C 0 -正交约束下,依次寻找使投影信号滞后自相关最大的线性方向。
设定
时间平均 ⟨ ⋅ ⟩ t 与概率测度 μ T 沿用 慢特征分析(SFA) 。给定滞后 τ > 0 ,滞后量只在 t 与 t + τ 同时属于 T 时有定义。记
T τ := { t ∈ T : t + τ ∈ T } ,
并设 μ T ( T τ ) > 0 。滞后平均是 μ T 在 T τ 上的归一化限制:
⟨ f ( t ) ⟩ t , τ := μ T ( T τ ) 1 ∫ T τ f ( t ) μ T ( d t ) .
下文的 C 0 、C τ 与差分协方差都使用这一平均,左右端点来自同一批配对。过程二阶平稳且平均改为关于平稳分布的期望时,端点效应消失,该平均与全时段平均给出同一二阶矩。
设 x 在配对窗口上已中心化,且各分量平方可积:
⟨ x ( t ) ⟩ t , τ = 0 , x ( t ) , x ( t + τ ) ∈ L 2 ( T τ , μ T τ ; R d ) .
滞后协方差
定义零滞后协方差、滞后协方差、右端协方差及其对称部分:
C 0 C τ C τ τ C τ sym := ⟨ x ( t ) x ( t ) ⊤ ⟩ t , τ , := ⟨ x ( t ) x ( t + τ ) ⊤ ⟩ t , τ , := ⟨ x ( t + τ ) x ( t + τ ) ⊤ ⟩ t , τ , := 2 1 ( C τ + C τ ⊤ ) .
C 0 与 C τ τ 实对称半正定。C τ 一般不对称:C τ ⊤ = ⟨ x ( t + τ ) x ( t ) ⊤ ⟩ t , τ 把时间方向反过来。称二阶平稳,若 C τ τ = C 0 。
对任意 w ∈ R d 与任意 M ∈ R d × d ,
w ⊤ M w = w ⊤ M ⊤ w = w ⊤ 2 M + M ⊤ w .
特别地,w ⊤ C τ w = w ⊤ C τ sym w 。
w ⊤ M w 是标量,等于自身的转置:
w ⊤ M w = ( w ⊤ M w ) ⊤ = w ⊤ M ⊤ w .
两式取算术平均即得对称部分的二次型。将 M 换为 C τ 得到后一式。□
单个实值投影的滞后乘积平均因此不区分 C τ 与 C τ sym 。反对称部分 2 1 ( C τ − C τ ⊤ ) 对一切实二次型贡献为零;它进入非对称的向量传播,见后文可逆性。
自相关与优化问题
对线性投影 y ( t ) = w ⊤ x ( t ) ,在 w ⊤ C 0 w > 0 时定义滞后自相关
ρ τ ( w ) := ⟨ y ( t ) 2 ⟩ t , τ ⟨ y ( t ) y ( t + τ ) ⟩ t , τ = w ⊤ C 0 w w ⊤ C τ sym w .
这是 C τ sym 相对 C 0 的广义 Rayleigh 商。
命题(齐次性:Rayleigh 商与单位方差约束等价)
设 C 0 ≻ 0 。则 ρ τ 零次齐次:对任意 c = 0 与 w = 0 ,ρ τ ( c w ) = ρ τ ( w ) ,并且
w = 0 max ρ τ ( w ) = w ⊤ C 0 w = 1 max w ⊤ C τ sym w .
两边的最优方向相同,相差一个非零倍数。若只知 C 0 ⪰ 0 ,Rayleigh 商在 ker C 0 上无定义。可行集改为 { w : w ⊤ C 0 w > 0 } ,或先由 PCA 投影到 C 0 的正特征子空间,再在该子空间上使用正定情形。
对 c = 0 ,
ρ τ ( c w ) = ( c w ) ⊤ C 0 ( c w ) ( c w ) ⊤ C τ sym ( c w ) = c 2 w ⊤ C 0 w c 2 w ⊤ C τ sym w = ρ τ ( w ) .
C 0 ≻ 0 时,任意 w = 0 满足 w ⊤ C 0 w > 0 。取
w := w ⊤ C 0 w w ,
则 w ⊤ C 0 w = 1 ,且
w ⊤ C τ sym w = ρ τ ( w ) = ρ τ ( w ) .
反过来,约束集中的每一点都是某个非零向量的缩放,目标值等于该向量的 Rayleigh 商。两边最大值相等,最优方向在非零缩放下对应。
若 C 0 ⪰ 0 且 w ∈ ker C 0 ,分母为零。C 0 在其正特征子空间上的限制正定,前半部分在该子空间上适用。□
线性 TICA 因此依次求解
w j ∈ R d max s.t. w j ⊤ C τ sym w j w i ⊤ C 0 w j = δ ij , 1 ≤ i ≤ j .
i = j 时 w j ⊤ C 0 w j = ⟨ y j ( t ) 2 ⟩ t , τ = 1 ;i < j 时 w i ⊤ C 0 w j = ⟨ y i ( t ) y j ( t ) ⟩ t , τ = 0 。正交由内积 ⟨ u , v ⟩ C 0 := u ⊤ C 0 v 给出,与 SFA 中的 B -内积同一角色。取前 m 个方向组成 W m = [ w 1 , … , w m ] ,投影为 z ( t ) = W m ⊤ x ( t ) 。
广义特征值与白化求解
第一个方向是
w ⊤ C 0 w = 1 max w ⊤ C τ sym w .
由 拉格朗日乘子法 ,令 L ( w , λ ) = w ⊤ C τ sym w − λ ( w ⊤ C 0 w − 1 ) 。两个矩阵都对称,驻点条件 ∇ w L = 2 C τ sym w − 2 λ C 0 w = 0 给出
C τ sym w = λ C 0 w .
左乘 w ⊤ 并代入 w ⊤ C 0 w = 1 ,得 λ = w ⊤ C τ sym w = ρ τ ( w ) 。C τ sym 只保证对称,不保证半正定,广义特征值可以为负。目标是最大化自相关,故按特征值从大到小选取;SFA 最小化导数二次型,取得的是最小特征值。
C 0 奇异时,先用 PCA 去掉 ker C 0 ,再在正特征子空间上白化。以下三个命题设 C 0 ≻ 0 。
设 C 0 ≻ 0 。定义
u := C 0 1/2 w ⟺ w = C 0 − 1/2 u , K τ := C 0 − 1/2 C τ sym C 0 − 1/2 .
则 w ↦ u 是 R d 上的双射,K τ 实对称,且
w i ⊤ C 0 w j = δ ij ⟺ u i ⊤ u j = δ ij , w ⊤ C τ sym w = u ⊤ K τ u .
K τ 不必半正定。
C 0 ≻ 0 实对称。由 SFA 白化命题中的谱分解,存在对称正定平方根 C 0 1/2 及其对称正定逆 C 0 − 1/2 ,满足 C 0 1/2 C 0 1/2 = C 0 、C 0 1/2 C 0 − 1/2 = I d 与 C 0 − 1/2 C 0 C 0 − 1/2 = I d 。代入 w j = C 0 − 1/2 u j :
w i ⊤ C 0 w j w ⊤ C τ sym w = u i ⊤ ( C 0 − 1/2 C 0 C 0 − 1/2 ) u j = u i ⊤ u j , = u ⊤ ( C 0 − 1/2 C τ sym C 0 − 1/2 ) u = u ⊤ K τ u .
C 0 − 1/2 与 C τ sym 都对称,故 K τ ⊤ = K τ 。z ⊤ K τ z 的符号与 C τ sym 在 w = C 0 − 1/2 z 上的二次型相同,可正可负。□
沿用上一命题的记号。实对称矩阵 K τ 有正交特征分解 K τ = Q Λ Q ⊤ ,其中 Q = [ q 1 , … , q d ] ,Q ⊤ Q = I d ,Λ = diag ( λ 1 , … , λ d ) ,并按 λ 1 ≥ ⋯ ≥ λ d 排列。令 v j := C 0 − 1/2 q j 。则
C τ sym v j = λ j C 0 v j , v i ⊤ C 0 v j = δ ij , v j ⊤ C τ sym v j = λ j .
由 K τ q j = λ j q j 与 q j = C 0 1/2 v j ,
C 0 − 1/2 C τ sym C 0 − 1/2 C 0 1/2 v j = λ j C 0 1/2 v j .
左乘 C 0 1/2 ,并用 C 0 1/2 C 0 − 1/2 = I d 与 C 0 1/2 C 0 1/2 = C 0 ,得 C τ sym v j = λ j C 0 v j 。白化命题已给出 v i ⊤ C 0 v j = q i ⊤ q j = δ ij 。再左乘 v j ⊤ 得二次型等于 λ j 。□
沿用上述记号,特征值按降序 λ 1 ≥ ⋯ ≥ λ d 。对 1 ≤ j ≤ d ,若前 j − 1 个方向已取为 w r = v r (1 ≤ r < j ),则
w ⊤ C 0 w = 1 v r ⊤ C 0 w = 0 , 1 ≤ r < j max w ⊤ C τ sym w = λ j .
最大值当且仅当 w 属于 span { v i : i ≥ j , λ i = λ j } 且 w ⊤ C 0 w = 1 时达到。单根时最优方向在正负号意义下为 ± v j ;重根时,在该特征值余下的广义特征子空间中任取 C 0 -标准正交方向。
白化把约束变成 u r ⊤ u = 0 (r < j )与 u ⊤ u = 1 ,目标变成 u ⊤ K τ u 。令 z := Q ⊤ u 。则
u ⊤ K τ u = z ⊤ Λ z = i = 1 ∑ d λ i z i 2 ,
并且 z r = q r ⊤ u = 0 (r < j ),∑ i ≥ j z i 2 = 1 。降序意味着 i ≥ j ⇒ λ i ≤ λ j ,故
i ≥ j ∑ λ i z i 2 ≤ λ j i ≥ j ∑ z i 2 = λ j .
差分等于 ∑ i ≥ j ( λ i − λ j ) z i 2 。每一项 λ i − λ j ≤ 0 ,和为零当且仅当 λ i < λ j 时 z i = 0 。因此 u 只含那些特征值等于 λ j 、下标不小于 j 的特征向量。取 z = ± e j 得 u = ± q j ,即 w = ± v j ,最大值 λ j 达到。单根时只剩 z j = ± 1 。重根时,该特征值余下特征子空间中的任一单位向量都达到同一最大值;依次选取时可以任取一组欧氏标准正交基,逆白化后即为一组 C 0 -标准正交基。□
沿用上述记号。对满足 W ⊤ C 0 W = I m 的 W ∈ R d × m ,
W ⊤ C 0 W = I m max tr ( W ⊤ C τ sym W ) = j = 1 ∑ m λ j ,
当 W = [ v 1 , … , v m ] 时达到。
令 U := C 0 1/2 W 。约束 W ⊤ C 0 W = I m 等价于 U ⊤ U = I m 。再令 Z := Q ⊤ U ,则 Z ⊤ Z = I m ,并且
tr ( W ⊤ C τ sym W ) = tr ( U ⊤ K τ U ) = tr ( Z ⊤ Λ Z ) = i = 1 ∑ d λ i c i ,
其中 c i := ∑ j = 1 m Z ij 2 。由 PCA 中的引理(列正交矩阵的行范数性质),0 ≤ c i ≤ 1 且 ∑ i = 1 d c i = m 。按降序 λ 1 ≥ ⋯ ≥ λ d ,
i = 1 ∑ d λ i c i − i = 1 ∑ m λ i = i = m + 1 ∑ d λ i c i − i = 1 ∑ m λ i ( 1 − c i ) ≤ λ m i = m + 1 ∑ d c i − λ m i = 1 ∑ m ( 1 − c i ) = λ m ( i = 1 ∑ d c i − m ) = 0.
不等号用到 i > m 时 λ i ≤ λ m 、c i ≥ 0 ,以及 i ≤ m 时 λ i ≥ λ m 、1 − c i ≥ 0 。这两处都不要求 λ i ≥ 0 。故迹不超过 ∑ j = 1 m λ j 。取 W = [ v 1 , … , v m ] 时,U = [ q 1 , … , q m ] ,Z = [ I m , 0 ] ⊤ ,于是 c 1 = ⋯ = c m = 1 ,其余 c i = 0 ,上界达到。□
λ i < 0 表示对应投影在滞后 τ 上反相关。比较定理不把这些方向排除在外;只是它们不会被选进前 m 个最大特征值,除非更大的特征值不足 m 个。
与离散时间 SFA 的关系
SFA 的离散形式用滞后差分代替时间导数。在同一滞后平均下,记 y ( t ) = w ⊤ x ( t ) 与 Δ x τ ( t ) := x ( t + τ ) − x ( t ) ,
Δ τ ( w ) := ⟨ ( y ( t + τ ) − y ( t ) ) 2 ⟩ t , τ , A τ := ⟨ Δ x τ ( t ) Δ x τ ( t ) ⊤ ⟩ t , τ ⪰ 0.
于是 Δ τ ( w ) = w ⊤ A τ w 。离散 SFA 在 W ⊤ C 0 W = I m 下最小化总差分,广义特征值记为 μ 。这里的 C 0 与 SFA 笔记中的 B 是同一瞬时协方差在同一窗口上的两种记号。
A τ = C τ τ + C 0 − 2 C τ sym .
若二阶平稳(C τ τ = C 0 ),则 A τ = 2 ( C 0 − C τ sym ) 。此时 w ⊤ C 0 w = 1 已经推出 w ⊤ C τ τ w = 1 ,并且
Δ τ ( w ) = 2 ( 1 − ρ τ ( w ) ) .
广义特征值问题 A τ w = μ C 0 w 与 C τ sym w = λ C 0 w 的特征向量相同,特征值满足 μ = 2 ( 1 − λ ) 。最小化 μ 与最大化 λ 选出同一组方向,排序相反。在该平稳性下 λ ∈ [ − 1 , 1 ] ,μ ∈ [ 0 , 4 ] 。
展开差分外积:
A τ = ⟨ ( x ( t + τ ) − x ( t ) ) ( x ( t + τ ) − x ( t ) ) ⊤ ⟩ t , τ = C τ τ + C 0 − C τ − C τ ⊤ = C τ τ + C 0 − 2 C τ sym .
C τ τ = C 0 时得到 A τ = 2 ( C 0 − C τ sym ) 。对 w ⊤ C 0 w = 1 ,平稳性给出 w ⊤ C τ τ w = 1 ,故
Δ τ ( w ) = 1 + 1 − 2 w ⊤ C τ sym w = 2 ( 1 − ρ τ ( w ) ) .
将 A τ = 2 ( C 0 − C τ sym ) 代入 A τ w = μ C 0 w :
2 ( C 0 − C τ sym ) w = μ C 0 w ⟺ C τ sym w = ( 1 − 2 μ ) C 0 w .
与 TICA 的特征值方程对照,λ = 1 − μ /2 ,即 μ = 2 ( 1 − λ ) 。约束 w ⊤ C 0 w = 1 与 A τ ⪰ 0 给出 μ = w ⊤ A τ w ≥ 0 。由 L 2 ( T τ ) 上的柯西不等式,
⟨ y ( t ) y ( t + τ ) ⟩ t , τ ≤ ⟨ y ( t ) 2 ⟩ t , τ ⟨ y ( t + τ ) 2 ⟩ t , τ = 1 ,
故 λ ∈ [ − 1 , 1 ] ,从而 μ = 2 ( 1 − λ ) ∈ [ 0 , 4 ] 。两个目标在同一约束集上只差正仿射变换 μ = 2 ( 1 − λ ) ,最小 μ 与最大 λ 的特征向量一致,排序相反。□
没有二阶平稳时,
Δ τ ( w ) = w ⊤ C τ τ w + w ⊤ C 0 w − 2 w ⊤ C τ sym w .
单位 C 0 -方差并不推出未来方差为 1 ,两个广义特征值问题也不再只差平移。
设 C 0 ≻ 0 ,二阶平稳,且 x ˙ ∈ L 2 ( T , μ T ; R d ) 。再设差分商在滞后窗口的 L 2 中收敛到该导数:τ → 0 时,各分量满足
τ x i ( t + τ ) − x i ( t ) − x ˙ i ( t ) L 2 ( T τ ) → 0.
记 A := ⟨ x ˙ ( t ) x ˙ ( t ) ⊤ ⟩ t 为连续时间 SFA 的导数协方差。则 A τ = τ 2 A + o ( τ 2 ) ,并且在紧集 { w : w ⊤ C 0 w = 1 } 上一致地有
ρ τ ( w ) = 1 − 2 τ 2 w ⊤ A w + o ( τ 2 ) .
因此 τ → 0 时,TICA 最大自相关方向的任一极限点都是连续时间 SFA 的最小导数方向。若另有 A w = μ C 0 w 且 w ⊤ C 0 w = 1 ,则该方向上 ρ τ ( w ) = 1 − τ 2 μ /2 + o ( τ 2 ) 。
记差分商 d τ ( t ) := ( x ( t + τ ) − x ( t )) / τ ,余项 r τ := d τ − x ˙ 。假设给出各分量的 L 2 ( T τ ) 范数趋于 0 ,故 ⟨ r τ r τ ⊤ ⟩ t , τ → 0 。交叉项的元素满足
⟨ r τ , a ( t ) x ˙ b ( t ) ⟩ t , τ ≤ ∥ r τ , a ∥ L 2 ( T τ ) ∥ x ˙ b ∥ L 2 ( T τ ) ,
从而 ⟨ d τ d τ ⊤ ⟩ t , τ 收敛到滞后窗口上的 ⟨ x ˙ x ˙ ⊤ ⟩ t , τ 。x ˙ ∈ L 2 ( T ) 时,宽度为 τ 的端点层对全时段积分的贡献是 o ( 1 ) ,窗口平均与全时段平均 A 之差趋于 0 。因此 A τ = ⟨( τ d τ ) ( τ d τ ) ⊤ ⟩ t , τ = τ 2 A + o ( τ 2 ) 。
二阶平稳给出 2 ( C 0 − C τ sym ) = A τ ,所以 C τ sym = C 0 − ( τ 2 /2 ) A + o ( τ 2 ) 。C 0 ≻ 0 使约束集紧,其上 ∥ w ∥ 2 有界,矩阵的 o ( τ 2 ) 对二次型一致。代入 w ⊤ C 0 w = 1 得到 ρ τ 的展开。
记 ε τ ( w ) := w ⊤ ( A τ / τ 2 − A ) w ,则 ε τ 在约束集上一致趋于 0 ,并且最大化 ρ τ 等价于最小化 w ⊤ A w + ε τ ( w ) 。设 w τ 是一个最大自相关方向,w ∗ 是它的极限点。对任意可行 w ,
w τ ⊤ A w τ + ε τ ( w τ ) ≤ w ⊤ A w + ε τ ( w ) .
令 τ → 0 ,得到 w ∗ ⊤ A w ∗ ≤ w ⊤ A w 。故 w ∗ 达到连续时间 SFA 的最小导数二次型。最后一式是把 A w = μ C 0 w 代入同一个展开。□
布朗运动的增量满足 ⟨( B t + τ − B t ) 2 ⟩ = τ ,差分协方差是 O ( τ ) 而不是 O ( τ 2 ) ,轨道在 L 2 意义下不可微。滞后形式的 A τ 仍有定义,连续时间导数形式的 SFA 不适用,上面的 τ 2 展开不成立。
传播算子与时间尺度
设 ( X t ) 平稳,边际为 μ ,坐标函数属于 L 2 ( μ ) ,且上文的时间平均等于关于 μ 的期望。滞后传播算子作用在观测上:
( P τ f ) ( x ) := E [ f ( X t + τ ) ∣ X t = x ] ,
在该条件期望确定 L 2 ( μ ) 上一个压缩算子的意义下。于是
E [ f ( X t ) g ( X t + τ ) ] = ⟨ f , P τ g ⟩ L 2 ( μ ) .
取坐标函数,( C τ ) ij = ⟨ x i , P τ x j ⟩ L 2 ( μ ) 。
设 C 0 在所讨论的子空间上可逆。w 与 λ 满足 C τ w = λ C 0 w ,当且仅当残差 P τ ( w ⊤ x ) − λ w ⊤ x 与每一个坐标函数在 L 2 ( μ ) 中正交。可逆动力学下 C τ 对称,该条件就是 C τ sym w = λ C 0 w ,从而 TICA 的特征值是 P τ 在坐标张成子空间上的 Galerkin 谱,不是 P τ 在整个 L 2 ( μ ) 上的谱。二者相同,当且仅当相应特征函数落在这个子空间里。
残差与 x i 正交写作
⟨ x i , P τ ( w ⊤ x ) ⟩ L 2 ( μ ) = λ ⟨ x i , w ⊤ x ⟩ L 2 ( μ ) , i = 1 , … , d .
左边是 ( C τ w ) i ,右边是 λ ( C 0 w ) i 。可逆时 C τ = C τ ⊤ ,对称部分不再改变方程,该事实的验证见下一节。这个条件只要求残差正交于 d 个坐标函数。特征函数若不在它们的张成中,就不满足全空间的方程 P τ f = λ f 。□
把输入从原始坐标换成距离、二面角或其它可测映射 φ ( X t ) ∈ R d ,优化形式不变:C 0 与 C τ 改为 φ 的二阶矩,试探子空间改为 span { φ 1 , … , φ d } 。
可逆连续时间马尔可夫过程的传播算子构成自伴半群时,非平凡特征值形如 λ i ( τ ) = e − κ i τ ,κ i > 0 。若计算得到的 λ i ( τ ) ∈ ( 0 , 1 ] ,定义隐含时间尺度
t i ( τ ) := − ln λ i ( τ ) τ .
半群情形下 t i = 1/ κ i ,与 τ 无关。λ i ≤ 0 时对数没有定义:负特征值表示滞后 τ 上的反相关,不对应正的指数衰减时间。有限状态转移矩阵的谱决定分布收敛的速率,见 有限状态离散时间时齐马尔可夫链 。分子动力学里常用 TICA 先把构象压到少数坐标,再离散化这些坐标来估计转移矩阵 (Pérez-Hernández et al., 2013) 。这样得到的是所选特征子空间上的变分近似。
可逆性与对称化
细致平衡是指平稳分布 μ 与滞后转移核满足
μ ( d x ) p τ ( d y ∣ x ) = μ ( d y ) p τ ( d x ∣ y ) .
此时 P τ 在 L 2 ( μ ) 上自伴,⟨ f , P τ g ⟩ L 2 ( μ ) = ⟨ P τ f , g ⟩ L 2 ( μ ) 。对坐标函数,
E [ x i ( t ) x j ( t + τ ) ] = E [ x j ( t ) x i ( t + τ ) ] ,
即 C τ = C τ ⊤ 。总体量不必再对称化。有限样本的 C τ 仍可以带数值上的反对称部分,对称化把它去掉。
不论是否可逆,实二次型都只看见 C τ sym 。不可逆时 P τ 不自伴,C τ w = λ C 0 w 可以出现复特征值,特征向量也不再构成 C 0 -正交基。改解 C τ sym w = λ C 0 w ,是对自伴部分 ( P τ + P τ ∗ ) /2 做 Galerkin 投影。反对称部分 2 1 ( C τ − C τ ⊤ ) 里的概率环流不进入这个谱。
保留整块 C τ 的一种做法是 VAMP (Wu & Noé, 2020) 。在 C 0 与 C τ τ 可逆时定义
K ˉ τ := C 0 − 1/2 C τ C τ τ − 1/2 .
VAMP-2 在 m 维线性子空间上最大化 K ˉ τ 前 m 个奇异值的平方和,最优子空间由这些奇异值的左右奇异向量张成。二阶平稳且细致平衡时 C τ τ = C 0 且 C τ 对称,于是 K ˉ τ = K τ 本身对称,奇异值分解退回 TICA 的正交特征分解。
滞后时间
τ 是输入参数,不由广义特征值问题解出。
τ 过小:各模态的 λ i ( τ ) 都靠近 1 ,ln λ i 的相对误差被放大,t i ( τ ) 对 C τ 的采样误差敏感。小滞后展开同时说明,此时 TICA 退回局部导数,快噪声与慢变量在自相关上尚未分开。
τ 过大:慢模态衰减到与采样噪声同量级,配对数减少,离散样本中为 N − k ,C τ 的方差变大。λ i 接近 0 时 t i 同样不稳定。
检查方法是画出 t i ( τ ) 随 τ 的变化。可逆半群的总体时间尺度不依赖 τ ,平台表示估计进入了与该分辨率相容的区间。平台不是模型正确的充分条件:采样不足、记忆未衰减,或慢特征函数不在所选子空间中,都可以产生一段平坦的曲线。
算法
设离散样本 x 1 , … , x N ∈ R d ,滞后为整数步 k ∈ { 1 , … , N − 1 } ,记 n := N − k 。先减去全轨迹均值 x ˉ = N 1 ∑ t = 1 N x t 。配对窗口的左右均值仍可能因端点不同而不相等;二者不相等时二阶平稳不成立,差分恒等式必须保留 C τ τ 。
用同一批配对估计
C 0 = n 1 t = 1 ∑ n x t x t ⊤ , C τ = n 1 t = 1 ∑ n x t x t + k ⊤ , C τ sym = 2 1 ( C τ + C τ ⊤ ) .
C 0 奇异或病态时,用 PCA 保留大于阈值的特征值,把 x t 、C 0 与 C τ sym 换成该子空间中的坐标。
计算 K τ = C 0 − 1/2 C τ sym C 0 − 1/2 ,作正交特征分解 K τ = Q Λ Q ⊤ ,按 λ 1 ≥ ⋯ ≥ λ d 排列。
取前 m 列 Q m ,令 W m = C 0 − 1/2 Q m 。则 W m ⊤ C 0 W m = I m ,投影为 z t = W m ⊤ x t 。对 λ i ∈ ( 0 , 1 ] ,隐含时间尺度为 t i = − k Δ t / ln λ i ,其中 Δ t 为采样间隔,τ = k Δ t 。
与 PCA、SFA 的对照
三种线性投影都是对称矩阵的二次型极值,差别在于被优化的矩阵和约束诱导的内积。
PCA 在 w ⊤ w = 1 下最大化 w ⊤ C 0 w ,取 C 0 的最大特征值。它只看同一时刻的方差,大方差方向可以是快噪声。
连续时间 SFA 在 w ⊤ B w = 1 下最小化 w ⊤ A w ,取导数协方差的最小广义特征值。离散形式把 A 换成 A τ 。二阶平稳且 B 与 A τ 使用同一滞后窗口时,这些方向与 TICA 相同,特征值关系为 μ = 2 ( 1 − λ ) 。
TICA 在 w ⊤ C 0 w = 1 下最大化 w ⊤ C τ sym w ,取最大广义特征值。它显式依赖 τ :同一条序列在不同滞后上可以选出不同方向。样本只在离散时刻取值时,滞后乘积不需要估计时间导数。
注记
特征向量的正负号不改变二次型。单根时 w 与 − w 是同一方向。重根时,逐次最大自相关命题只确定重根子空间,其中的 C 0 -标准正交基可以旋转。
非平稳序列不满足 C τ τ = C 0 。全局减去一个常数均值也不能恢复这个等式。Rayleigh 商仍可计算,但 λ ∈ [ − 1 , 1 ] 与 μ = 2 ( 1 − λ ) 都不再成立,隐含时间尺度的指数解释也失去半群依据。
TICA 这个名字来自用时间滞后相关分离独立信源 (Molgedey & Schuster, 1994) ,不是极大化非高斯性或极小化互信息的独立成分分析。本文的目标是滞后自相关,用它提取慢线性坐标 (Pérez-Hernández et al., 2013) 。
文献
Molgedey 与 Schuster 用时间滞后相关分离独立信号 (Molgedey & Schuster, 1994) 。Pérez-Hernández 等把这一广义特征值问题用于分子动力学中的慢序参量,并由此构造马尔可夫模型 (Pérez-Hernández et al., 2013) 。非可逆情形的奇异值形式见 Wu 与 Noé 的 VAMP (Wu & Noé, 2020) 。
Molgedey, L., & Schuster, H. G. (1994). Separation of a Mixture of Independent Signals Using Time Delayed Correlations. Physical Review Letters , 72 (23), 3634–3637. https://doi.org/10.1103/PhysRevLett.72.3634
Pérez-Hernández, G., Paul, F., Giorgino, T., De Fabritiis, G., & Noé, F. (2013). Identification of Slow Molecular Order Parameters for Markov Model Construction. The Journal of Chemical Physics , 139 (1), 015102. https://doi.org/10.1063/1.4811489
Wu, H., & Noé, F. (2020). Variational Approach for Learning Markov Processes from Time Series Data. Journal of Nonlinear Science , 30 , 23–66. https://doi.org/10.1007/s00332-019-09567-y