线性代数的结论

本文的向量空间的域默认都为$\mathbb{R}$

定义

• n阶方阵上的定义内积$⟨A,B⟩:=tr(A^{T}B)$
• $skew(A):=(A-A^T)/2$
• $sym(A):=(A+A^T)/2$

性质

1. 在 Frobenius 内积下，对称矩阵对反对称矩阵正交。
2. 方阵$M$在反对称矩阵空间的正交投影为$skew(M)$
3. 方阵$M$在对称矩阵空间的投影为$sym(M)$
4. 在实数域（$\mathbb{R}$）上，$W{W}^T\mathbf{x}=0⟺W^T\mathbf{x}=0$。
5. 设$H$为实对称半正定矩阵，则$H\mathbf{v}=0⟺{\mathbf{v}}^{T}H\mathbf{v}=0$
6. 只要 $D$ 是一个与 $t$ 无关的常数矩阵，那么：$|D+O(t^2)|=|D|+O(t^2)$
7. 正交投影不增大向量的2范数：
   • $P^2=P,P^T=P⟹\Vert Px\Vert \le \Vert x\Vert ,P\in {\mathbb{R}}^{N\times N},x\in {\mathbb{R}}^N$
8. $U\in {\mathbb{R}}^{d\times k}$，其中 $k<d$，且列向量正交归一，即$U^{T}U=I_k$,则：
   • $\Vert U^{T}y{\Vert }_2\le \Vert y{\Vert }_2,y\in {\mathbb{R}}^d$
   • $\Vert Ux{\Vert }_2=\Vert x{\Vert }_2,x\in {\mathbb{R}}^k$
9. 矩阵的谱范数等于最大奇异值：
   • $\Vert A{\Vert }_2={\sigma }_1$
10. 当且仅当 $U$ 的列向量是正交归一组时，在 $U$ 所生成的空间中找单位向量，完全等价于找一个单位的系数向量 $a$，再令 $x=Ua,\Vert a\Vert =1.$

---

矩阵分解

设 ${\mathbb{R}}^N=S\oplus S^{\perp }$，并记到两个子空间的正交投影为 ${\mathbf{P}}_S$ 和 ${\mathbf{P}}_{S^{\perp }}$。它们满足

$${\mathbf{P}}_S+{\mathbf{P}}_{S^{\perp }}=\mathbf{I},{\mathbf{P}}_S^2={\mathbf{P}}_S,{\mathbf{P}}_{S^{\perp }}^2={\mathbf{P}}_{S^{\perp }},{\mathbf{P}}_S{\mathbf{P}}_{S^{\perp }}={\mathbf{P}}_{S^{\perp }}{\mathbf{P}}_S=0.$$

矩阵的正交投影分解

对任意线性算子 $M:{\mathbb{R}}^N\to {\mathbb{R}}^N$，在 $M$ 两侧插入 $\mathbf{I}={\mathbf{P}}_S+{\mathbf{P}}_{S^{\perp }}$，可得

$$M=({\mathbf{P}}_S+{\mathbf{P}}_{S^{\perp }})M({\mathbf{P}}_S+{\mathbf{P}}_{S^{\perp }}),$$

即

$$M=\underset{S\to S}{\underbrace{{\mathbf{P}}_{S}M{\mathbf{P}}_S}}+\underset{S^{\perp }\to S}{\underbrace{{\mathbf{P}}_{S}M{\mathbf{P}}_{S^{\perp }}}}+\underset{S\to S^{\perp }}{\underbrace{{\mathbf{P}}_{S^{\perp }}M{\mathbf{P}}_S}}+\underset{S^{\perp }\to S^{\perp }}{\underbrace{{\mathbf{P}}_{S^{\perp }}M{\mathbf{P}}_{S^{\perp }}}}.$$

这四项就是 $M$ 关于分解 ${\mathbb{R}}^N=S\oplus S^{\perp }$ 的四个矩阵块。

矩阵的正交基分解

设 $\{{\mathbf{q}}_m{\}}_{m=1}^N$ 是 ${\mathbb{R}}^N$ 的一组标准正交基。因此有

$$\sum _m{\mathbf{q}}_m{\mathbf{q}}_m^{\top }=\mathbf{I}.$$

插入 $M=\mathbf{I}M\mathbf{I}$：

$$M=\left(\sum _m{\mathbf{q}}_m{\mathbf{q}}_m^{\top }\right)M\left(\sum _n{\mathbf{q}}_n{\mathbf{q}}_n^{\top }\right)=\sum _{m,n}({\mathbf{q}}_m^{\top }M{\mathbf{q}}_n){\mathbf{q}}_m{\mathbf{q}}_n^{\top }.$$

$M_{mn}={\mathbf{q}}_m^{\top }M{\mathbf{q}}_n$ 是 $M$ 在该基下的矩阵元，${\mathbf{q}}_m{\mathbf{q}}_n^{\top }$ 是对应的基矩阵。

两种分解的关系

取 $S$ 的一组标准正交基 $\{{\mathbf{q}}_m{\}}_{m\in S}$，则

$${\mathbf{P}}_S=\sum _{m\in S}{\mathbf{q}}_m{\mathbf{q}}_m^{\top },{\mathbf{P}}_{S^{\perp }}=\sum _{m\notin S}{\mathbf{q}}_m{\mathbf{q}}_m^{\top }.$$

把展开式的指标 $(m,n)$ 按 $S$ / $S^{\perp }$ 分成四组，即得上式四块。前者按单个基向量展开，后者是按子空间分块的粗粒化。