子空间主角

1. 设定

设 $\mathcal{S},{\mathcal{S}}^{\star }\subset {\mathbb{R}}^n$ 是两个 $k$ 维子空间，$n\ge k$。取它们的标准正交基，排成

$$U,U^{\star }\in {\mathbb{R}}^{n\times k},U^{\top }U=(U^{\star }{)}^{\top }{U}^{\star }=I_k,$$

于是

$$\mathcal{S}=\mathrm{range}(U),{\mathcal{S}}^{\star }=\mathrm{range}(U^{\star }).$$

两者的重叠矩阵为

$$C=U^{\top }{U}^{\star }.$$

设 $C$ 的奇异值分解为

$$C=AD{B}^{\top },D=\mathrm{diag}(c_1,\dots ,c_k),$$

其中 $A,B$ 是正交矩阵，奇异值取非负并按降序排列：

$$c_1\ge \cdots \ge c_k\ge 0.$$

记 $a_i,b_i$ 分别为 $A,B$ 的第 $i$ 列。

2. 主角

单位向量 $p\in \mathcal{S}$、$q\in {\mathcal{S}}^{\star }$ 的内积不超过 $1$。把 $q$ 换成 $-q$ 会改变内积的符号，所以最大值落在 $[0,1]$ 中。第一主角 ${\theta }_1\in [0,\pi /2]$ 由

$$\cos {\theta }_1=\underset{\Vert p{\Vert }_2=\Vert q{\Vert }_2=1}{\max }{p}^{\top }q$$

定义。达到最大值的 $p_1,q_1$ 称为第一对主向量。

前 $i-1$ 对主向量取定之后，第 $i$ 个主角仍是这样的最大内积，只是增加正交约束：

$$\cos {\theta }_i=\max p^{\top }q,$$

其中 $\Vert p{\Vert }_2=\Vert q{\Vert }_2=1$，$p\in \mathcal{S}$，$q\in {\mathcal{S}}^{\star }$，并且

$$p\perp p_1,\dots ,p_{i-1},q\perp q_1,\dots ,q_{i-1}.$$

达到最大值的 $p_i,q_i$ 称为第 $i$ 对主向量。下面证明可以取

$$p_i=U{a}_i,q_i=U^{\star }{b}_i,$$

并且 $\cos {\theta }_i=c_i$。

3. 最大内积等于奇异值

任意 $p\in \mathcal{S}$、$q\in {\mathcal{S}}^{\star }$ 可写成 $p=Ua$、$q=U^{\star }b$。由列正交，

$$\Vert p{\Vert }_2=\Vert a{\Vert }_2,\Vert q{\Vert }_2=\Vert b{\Vert }_2,$$

并且

$$p^{\top }q=(Ua{)}^{\top }(U^{\star }b)=a^{\top }Cb.$$

若 $p_j=U{a}_j$，则 $p^{\top }{p}_j=a^{\top }{a}_j$，所以

$$p\perp p_j⟺a\perp a_j.$$

对 $q$ 与 $b$ 同样有 $q\perp q_j⟺b\perp b_j$。主角的递归极值因此等价于在相应约束下求 $a^{\top }Cb$ 的最大值。

令

$$x=A^{\top }a,y=B^{\top }b.$$

$A,B$ 正交，故 $\Vert x{\Vert }_2=\Vert a{\Vert }_2$，$\Vert y{\Vert }_2=\Vert b{\Vert }_2$，并且

$$a^{\top }Cb=x^{\top }Dy=\sum _{\ell =1}^k{c}_{\ell }{x}_{\ell }{y}_{\ell }.$$

又因 $a_j=A{e}_j$，所以 $a\perp a_j$ 等价于 $x_j=0$；$b\perp b_j$ 等价于 $y_j=0$。

沿奇异向量归纳。考虑前 $i-1$ 对已经取为 $p_j=U{a}_j$、$q_j=U^{\star }{b}_j$ 的情形，第 $i$ 步的约束就是

$$x_1=\cdots =x_{i-1}=0,y_1=\cdots =y_{i-1}=0,$$

目标函数只剩下

$$a^{\top }Cb=\sum _{\ell =i}^k{c}_{\ell }{x}_{\ell }{y}_{\ell }.$$

对 $\ell \ge i$ 有 $0\le c_{\ell }\le c_i$，因此

$$\begin{array}{rl}\sum _{\ell =i}^k{c}_{\ell }{x}_{\ell }{y}_{\ell }& \le \sum _{\ell =i}^k{c}_{\ell }|x_{\ell }{y}_{\ell }|\\ & \le c_i\sum _{\ell =i}^k|x_{\ell }{y}_{\ell }|\\ & \le c_i{\left(\sum _{\ell =i}^k{x}_{\ell }^2\right)}^{1/2}{\left(\sum _{\ell =i}^k{y}_{\ell }^2\right)}^{1/2}\\ & =c_i.\end{array}$$

最后一步是 Cauchy–Schwarz 不等式。又因 $\Vert x{\Vert }_2=\Vert y{\Vert }_2=1$，被置零的坐标不进入平方和，所以两个根式都等于 $1$。$x=y=e_i$ 满足上述约束，并使每一处取等号，对应 $a=a_i$、$b=b_i$。

$i=1$ 时没有正交约束，因此 $p_1=U{a}_1$、$q_1=U^{\star }{b}_1$ 是第一对主向量，且 $\cos {\theta }_1=c_1$。若前 $i-1$ 对都如此选取，则第 $i$ 对可取 $p_i=U{a}_i$、$q_i=U^{\star }{b}_i$，并且

$$\max a^{\top }Cb=c_i.$$

也就是

$$\boxed{\cos {\theta }_i=c_i}.$$

由此得到 $c_i\le 1$。再由 $c_1\ge \cdots \ge c_k$ 以及 $\arccos$ 单调递减，

$$0\le {\theta }_1\le \cdots \le {\theta }_k\le \frac{\pi }{2}.$$

这组主向量在各自的子空间中标准正交：

$$p_i^{\top }{p}_j=a_i^{\top }{a}_j={\delta }_{ij},$$

$q_i$ 亦然。