前置
目标
给定时间序列 ,在单位方差与正交去相关约束下,依次寻找使投影信号时间导数均方值 最小的线性方向。
设定
设时间指标集 配备 Borel -代数 与概率测度 ()。对可测时间序列 及可积函数 ,定义时间平均为 上的 Lebesgue 积分:
两类特例:
- 连续时间区间:,( 为 上的 Lebesgue 测度),;
- 离散时间采样:,(归一化计数测度),。
对 ,时间平均 即为 上的内积。
设复合信号 关于 几乎处处可微,且 。SFA 依次求解瞬时映射 ():
线性SFA
设 已中心化(),各分量几乎处处可微且 。取线性映射 ,则 。定义时间导数协方差矩阵 与瞬时协方差矩阵 :
零均值约束与二次型化简
由积分的线性性,零均值约束 自然满足;慢度目标函数与二阶矩约束分别化为关于 的二次型与双线性型:
推导
1. 零均值约束自动满足:
记常向量 ,,向量值函数的时间平均按分量定义为 。由 的齐次性与可加性(线性性),与时间 无关的系数 可提出积分号外:结合输入已中心化的假设 (若原始序列均值 ,预先作平移 即可),对任意 恒有
故第一条约束 在优化问题中可消去。
2. 二阶矩与慢度目标化简:
注意到标量 ,将乘积 按分量展开:矩阵值函数的积分按元素定义,即矩阵 的第 元为 。由 Lebesgue 积分的可加性与齐次性,将与 无关的常系数 提出积分号并与有限求和交换顺序:
同理,将 展开并利用 ,有
从而线性 SFA 化为约束二次规划:
其中 为 Kronecker 记号:当 时为 (单位方差),当 时为 (正交去相关)。
广义特征值与白化求解
矩阵 度量投影信号的时间变化率,而约束 由 诱导的加权内积 给出。先对 考察
由 拉格朗日乘子法,令 ,一阶驻点条件 给出广义特征值方程
左乘 并代入 ,得驻点处的慢度 。当 时(若 奇异,可先由 PCA 投影至 的非零特征子空间),利用白化变换即可严格导出全部 个慢特征方向的全局最优解。
命题(白化变换下约束优化等价性)
设 ,。定义白化坐标变换及白化后的矩阵
则 是 上的双射, 为实对称半正定矩阵,且原坐标中的 -标准正交约束与慢度目标分别等价于白化坐标中的欧氏标准正交约束与二次型:
证明
因 为实对称正定矩阵,由实对称矩阵谱定理,存在正交矩阵 (),使得 ,其中 且 ()。据此定义对称正定平方根及其逆:
由 ,直接验证可知 、,且满足基本乘积恒等式:
作可逆线性变量代换(对应白化信号 ):
由于 、 且 ,有 ;且对任意 恒有 ,故 为实对称半正定矩阵。将 代入原优化问题,原来的 -标准正交约束与慢度目标分别等价转化为欧氏标准正交约束与关于 的二次型:
因而白化变换保持可行性与目标值,两个约束优化问题完全等价。
命题(广义特征值问题与标准特征值问题的等价性)
沿用上命题的设定与记号。对任意非零向量 ,令 ,则
若 ,其中 且 为正交矩阵,则
是广义特征值问题 对应于 的 -标准正交广义特征向量,即
证明
因 与 均可逆,对任意 及双射对应的 (即 ),在广义特征值方程两边左乘 并利用 ,可作双向可逆推导:
这表明广义特征值问题 与标准特征值问题 的特征值完全相同,且特征向量通过 一一对应。
因 实对称,可作正交特征分解 ,其中 (), 为正交矩阵,满足标准特征值方程 及 。通过逆白化变换定义原坐标空间中的向量:
将 代入 得 ,等式两边左乘 并利用 、、 及 ,逐步化简得
同时,验证其 -加权内积:
故 恰为广义特征值问题 的全部广义特征值, 为对应的 -标准正交广义特征向量。
命题(向量形式:逐次最小慢度)
沿用上述命题的设定与记号,并将广义特征值按升序排列为 。对 ,设前 个慢特征方向已取为 ,则第 个方向的最小慢度为
最小值当且仅当 且 时达到;特别地, 达到最小值 。若 为单根,则最优方向在正负号意义下唯一;若 有重根,则可在对应剩余广义特征子空间中任取 -标准正交方向。
证明
对第 步(),设前 个最慢方向已依次选定为 (即 ,;当 时无前序正交约束)。当前第 步在满足正交约束 ()与单位长度约束 的可行向量 中最小化 。
引入特征坐标变换 ()。由 ,其第 个分量为 ,目标函数随之对角化为各特征方向上的加权平方和:
下面依次将正交约束与单位长度约束转化为关于坐标 的条件:
- 前 个分量为零:对任意 ,由已选方向 及正交约束 ,有
即 ,新方向不包含前 个已选方向上的分量。
- 剩余分量平方和为 :由正交矩阵保内积()及单位长度约束 ,有
结合 ,得
利用特征值的升序排列 ,对一切 均有 且 ,从而 。对 求和得慢度下界:
为分析取等号 的充要条件,将 与 作差并代入 :
因对所有 均有 且 ,上述非负项之和等于零当且仅当每一项均为零:
这表明最优方向不能包含任何特征值严格大于 的特征方向分量,只能由特征值等于 的剩余特征向量线性组合而成。据此分情形讨论:
- 最小值可达性:取 (即 ,其余 ),则 ,经逆白化变换换回原坐标即 ,此时下界 达到;
- 单根情形(方向唯一性):若 为单根(,当 时只需 ),则对一切 均有 ,由取等条件必有 。结合 与 ,得 ,故最优方向 在正负号意义下唯一;
- 重根情形(子空间基自由度):若 有重根,记下标集 ,则对 有 恒成立,故凡满足 且对 有 的单位向量 均与前 个方向正交且达到相同最小慢度 。逆变换回原坐标,最优解集恰为 中的 -单位向量;在依次选出属于该重根的各个方向时,可在对应广义特征子空间中任取一组 -标准正交基。
命题(矩阵形式: 维慢子空间总慢度最小化)
沿用上述命题的设定与记号。对满足 -标准正交约束 的投影矩阵 ,前 个慢特征方向的总慢度最小值为
当取 时达到最小值。
证明
对投影矩阵 ,令 ,则 -标准正交约束 等价于列正交约束 。进一步记 ,则 。注意到 的第 个对角元为
故投影到 个方向后的总慢度为
其中 为 的第 行模长平方。由 PCA 中的引理(列正交矩阵的行范数性质)知,对所有 有 ,且 。结合 ,有
因此
当取 时,,,故 ,,下界 达到。
离散时间差分形式
对离散时间或给定滞后步长 的情形,以有限步长差分替代时间导数,慢度目标定义为
记差分向量 ,定义差分协方差矩阵
则 。在约束 下,最优投影方向由广义特征值问题
的前 个最小广义特征值对应的 -标准正交特征向量给出。