前置

目标

给定时间序列 ,在单位方差与正交去相关约束下,依次寻找使投影信号时间导数均方值 最小的线性方向。

设定

设时间指标集 配备 Borel -代数 与概率测度 ()。对可测时间序列 及可积函数 ,定义时间平均为 上的 Lebesgue 积分:

两类特例:

  • 连续时间区间:,( 为 上的 Lebesgue 测度),;
  • 离散时间采样:,(归一化计数测度),。

对 ,时间平均 即为 上的内积。

设复合信号 关于 几乎处处可微,且 。SFA 依次求解瞬时映射 ():

线性SFA

设 已中心化(),各分量几乎处处可微且 。取线性映射 ,则 。定义时间导数协方差矩阵 与瞬时协方差矩阵 :

零均值约束与二次型化简

由积分的线性性,零均值约束 自然满足;慢度目标函数与二阶矩约束分别化为关于 的二次型与双线性型:

从而线性 SFA 化为约束二次规划:

其中 为 Kronecker 记号:当 时为 (单位方差),当 时为 (正交去相关)。

广义特征值与白化求解

矩阵 度量投影信号的时间变化率,而约束 由 诱导的加权内积 给出。先对 考察

由 拉格朗日乘子法,令 ,一阶驻点条件 给出广义特征值方程

左乘 并代入 ,得驻点处的慢度 。当 时(若 奇异,可先由 PCA 投影至 的非零特征子空间),利用白化变换即可严格导出全部 个慢特征方向的全局最优解。

命题(白化变换下约束优化等价性)

设 ,。定义白化坐标变换及白化后的矩阵

则 是 上的双射, 为实对称半正定矩阵,且原坐标中的 -标准正交约束与慢度目标分别等价于白化坐标中的欧氏标准正交约束与二次型:

命题(广义特征值问题与标准特征值问题的等价性)

沿用上命题的设定与记号。对任意非零向量 ,令 ,则

若 ,其中 且 为正交矩阵,则

是广义特征值问题 对应于 的 -标准正交广义特征向量,即

命题(向量形式:逐次最小慢度)

沿用上述命题的设定与记号,并将广义特征值按升序排列为 。对 ,设前 个慢特征方向已取为 ,则第 个方向的最小慢度为

最小值当且仅当 且 时达到;特别地, 达到最小值 。若 为单根,则最优方向在正负号意义下唯一;若 有重根,则可在对应剩余广义特征子空间中任取 -标准正交方向。

命题(矩阵形式: 维慢子空间总慢度最小化)

沿用上述命题的设定与记号。对满足 -标准正交约束 的投影矩阵 ,前 个慢特征方向的总慢度最小值为

当取 时达到最小值。

离散时间差分形式

对离散时间或给定滞后步长 的情形,以有限步长差分替代时间导数,慢度目标定义为

记差分向量 ,定义差分协方差矩阵

则 。在约束 下,最优投影方向由广义特征值问题

的前 个最小广义特征值对应的 -标准正交特征向量给出。