伪逆

Prerequisites

• svd
• 正交投影

设

$$A\in {\mathbb{C}}^{m\times n}.$$

记 $A^H$ 为 $A$ 的共轭转置，$\mathcal{R}(A)$ 为像空间（列空间），$\mathcal{N}(A)$ 为核空间。对实矩阵，$A^H=A^T$。

普通逆要求矩阵是方阵且满秩。伪逆则对任意矩阵都有定义，并统一描述奇异线性方程组、最小二乘解和最小范数解。

1. 广义逆

若 $G\in {\mathbb{C}}^{n\times m}$ 满足

$$AGA=A,$$

则称 $G$ 是 $A$ 的一个广义逆（generalized inverse），也称 $\{1\}$-逆，常记为 $A^{-}$ 或 $A^{(1)}$。

广义逆总是存在，但通常不唯一。例如

$$A=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right)$$

的所有形如

$$G=\left(\begin{array}{cc}1& a\\ b& c\end{array}\right),a,b,c\in \mathbb{C}$$

的矩阵都满足 $AGA=A$。

若 $A$ 可逆，则由 $AGA=A$ 左右分别乘以 $A^{-1}$ 可得 $G=A^{-1}$，此时广义逆唯一。

2. Moore–Penrose 伪逆

若 $G\in {\mathbb{C}}^{n\times m}$ 满足四个 Penrose 条件

$$\begin{array}{rl}\text{(1)}& AGA=A,\\ \text{(2)}& GAG=G,\\ \text{(3)}& (AG{)}^H=AG,\\ \text{(4)}& (GA{)}^H=GA,\end{array}$$

则称 $G$ 是 $A$ 的 Moore–Penrose 伪逆，记为 $A^{+}$。

• 条件 (1) 表明 $G$ 是 $A$ 的广义逆；
• 条件 (2) 表明 $A$ 也是 $G$ 的广义逆；
• 条件 (3)、(4) 把 $AG$ 和 $GA$ 从一般的斜投影限制为正交投影。

每个矩阵都存在唯一的 Moore–Penrose 伪逆。存在性可由奇异值分解直接得到，唯一性将在第 7 节证明。

3. 由奇异值分解构造

设 $\mathrm{rank}(A)=r>0$，$A$ 的紧奇异值分解（compact SVD）为

$$A=U_r{\Sigma }_r{V}_r^H,$$

其中

$$U_r\in {\mathbb{C}}^{m\times r},V_r\in {\mathbb{C}}^{n\times r},{\Sigma }_r=\mathrm{diag}({\sigma }_1,\dots ,{\sigma }_r),$$

$U_r$、$V_r$ 的列分别标准正交，且 ${\sigma }_1\ge \cdots \ge {\sigma }_r>0$。定义

$$\boxed{A^{+}=V_r{\Sigma }_r^{-1}{U}_r^H.}$$

于是

$$A{A}^{+}=U_r{U}_r^H,A^{+}A=V_r{V}_r^H.$$

这两个矩阵都是自伴幂等矩阵，并且

$$A{A}^{+}A=A,A^{+}A{A}^{+}=A^{+}.$$

因此该构造满足四个 Penrose 条件，证明了伪逆的存在性。若 $A=0$，则定义 $A^{+}=0$，结论同样成立。

等价地，若使用完整 SVD

$$A=U\Sigma V^H,$$

则

$$A^{+}=V{\Sigma }^{+}{U}^H,$$

其中 ${\Sigma }^{+}\in {\mathbb{C}}^{n\times m}$：将 $\Sigma$ 的每个非零对角元 ${\sigma }_i$ 替换为 ${\sigma }_i^{-1}$，并保留其余零元。

4. 几何意义：两个正交投影

从 SVD 可以立即看出

$$\boxed{A{A}^{+}=P_{\mathcal{R}(A)}},\boxed{A^{+}A=P_{\mathcal{R}(A^H)}}.$$

也就是说：

• $A{A}^{+}\in {\mathbb{C}}^{m\times m}$ 是 ${\mathbb{C}}^m$ 到 $\mathcal{R}(A)$ 的正交投影；
• $A^{+}A\in {\mathbb{C}}^{n\times n}$ 是 ${\mathbb{C}}^n$ 到 $\mathcal{R}(A^H)$ 的正交投影。

相应的像空间与核空间为

$$\begin{array}{rlrl}\mathcal{R}(A{A}^{+})& =\mathcal{R}(A),& \mathcal{N}(A{A}^{+})& =\mathcal{N}(A^H),\\ \mathcal{R}(A^{+}A)& =\mathcal{R}(A^H),& \mathcal{N}(A^{+}A)& =\mathcal{N}(A).\end{array}$$

下面说明这些结论也可以只由四个 Penrose 条件推出，而不依赖 SVD。

4.1. $A{A}^{+}$ 与 $A^{+}A$ 是正交投影

令

$$P:=A{A}^{+},Q:=A^{+}A.$$

由 $A{A}^{+}A=A$ 与 $A^{+}A{A}^{+}=A^{+}$，

$$P^2=A{A}^{+}A{A}^{+}=(A{A}^{+}A)A^{+}=A{A}^{+}=P,$$ $$Q^2=A^{+}A{A}^{+}A=(A^{+}A{A}^{+})A=A^{+}A=Q.$$

另外两个 Penrose 条件给出

$$P^H=P,Q^H=Q.$$

所以 $P$、$Q$ 都是自伴幂等矩阵，也就是正交投影。

4.2. 证明 $\mathcal{R}(A{A}^{+})=\mathcal{R}(A)$

因为

$$A{A}^{+}x=A(A^{+}x),$$

所以 $\mathcal{R}(A{A}^{+})\subseteq \mathcal{R}(A)$。

反过来，任取 $y\in \mathcal{R}(A)$，可写成 $y=Ax$。利用 $A{A}^{+}A=A$，

$$y=Ax=A{A}^{+}Ax,$$

故 $y\in \mathcal{R}(A{A}^{+})$。因此

$$\boxed{\mathcal{R}(A{A}^{+})=\mathcal{R}(A).}$$

4.3. 证明 $\mathcal{N}(A{A}^{+})=\mathcal{N}(A^H)$

对任意正交投影 $P$，都有

$$\mathcal{N}(P)=\mathcal{R}(P{)}^{\perp }.$$

结合上一节的结论，

$$\mathcal{N}(A{A}^{+})=\mathcal{R}(A{A}^{+}{)}^{\perp }=\mathcal{R}(A{)}^{\perp }.$$

而

$$\mathcal{R}(A{)}^{\perp }=\mathcal{N}(A^H).$$

事实上，对任意 $y\in {\mathbb{C}}^m$，

$$\begin{array}{rl}y\in \mathcal{R}(A{)}^{\perp }& ⟺⟨Ax,y⟩=0,\forall x\in {\mathbb{C}}^n\\ & ⟺⟨x,A^{H}y⟩=0,\forall x\in {\mathbb{C}}^n\\ & ⟺A^{H}y=0\\ & ⟺y\in \mathcal{N}(A^H).\end{array}$$

所以

$$\boxed{\mathcal{N}(A{A}^{+})=\mathcal{N}(A^H).}$$

4.4. 证明 $\mathcal{N}(A^{+}A)=\mathcal{N}(A)$

若 $x\in \mathcal{N}(A)$，则

$$A^{+}Ax=0,$$

所以 $\mathcal{N}(A)\subseteq \mathcal{N}(A^{+}A)$。

反过来，若 $x\in \mathcal{N}(A^{+}A)$，则 $A^{+}Ax=0$。在等式左侧乘以 $A$，并利用 $A{A}^{+}A=A$，得到

$$Ax=A{A}^{+}Ax=0.$$

因此 $\mathcal{N}(A^{+}A)\subseteq \mathcal{N}(A)$，从而

$$\boxed{\mathcal{N}(A^{+}A)=\mathcal{N}(A).}$$

4.5. 证明 $\mathcal{R}(A^{+}A)=\mathcal{R}(A^H)$

由 $A^{+}A$ 的自伴性，

$$A^{+}A=(A^{+}A{)}^H=A^H(A^{+}{)}^H,$$

所以

$$\mathcal{R}(A^{+}A)\subseteq \mathcal{R}(A^H).$$

另一方面，对 $A{A}^{+}A=A$ 取共轭转置，得到

$$A^H(A^{+}{)}^H{A}^H=A^H.$$

再次利用 $A^H(A^{+}{)}^H=A^{+}A$，可写成

$$(A^{+}A)A^H=A^H,$$

所以 $\mathcal{R}(A^H)\subseteq \mathcal{R}(A^{+}A)$。综上，

$$\boxed{\mathcal{R}(A^{+}A)=\mathcal{R}(A^H).}$$

于是，$A{A}^{+}$ 与 $A^{+}A$ 分别是到 $\mathcal{R}(A)$ 与 $\mathcal{R}(A^H)$ 的正交投影，四个像空间与核空间等式都得到了证明。

因此任意 $b\in {\mathbb{C}}^m$ 都有正交分解

$$b=A{A}^{+}b+(I_m-A{A}^{+})b,$$

其中

$$A{A}^{+}b\in \mathcal{R}(A),(I_m-A{A}^{+})b\in \mathcal{N}(A^H).$$

类似地，任意 $x\in {\mathbb{C}}^n$ 都有正交分解

$$x=A^{+}Ax+(I_n-A^{+}A)x,$$

其中两项分别属于 $\mathcal{R}(A^H)$ 和 $\mathcal{N}(A)$。

5. 常用性质与公式

5.1. 基本性质

由 SVD 可得

$$\begin{array}{rlrl}\mathcal{R}(A^{+})& =\mathcal{R}(A^H),& \mathcal{N}(A^{+})& =\mathcal{N}(A^H),\\ \mathrm{rank}(A^{+})& =\mathrm{rank}(A),& (A^{+}{)}^{+}& =A,\\ (A^H{)}^{+}& =(A^{+}{)}^H.& & \end{array}$$

若 $\alpha \ne 0$，则

$$(\alpha A{)}^{+}={\alpha }^{-1}{A}^{+}.$$

若 $U\in {\mathbb{C}}^{m\times m}$、$V\in {\mathbb{C}}^{n\times n}$ 为酉矩阵，则

$$(UAV{)}^{+}=V^H{A}^{+}{U}^H.$$

一般而言，

$$(AB{)}^{+}\ne B^{+}{A}^{+};$$

只有在附加秩或像空间条件下，乘积逆序公式才成立。

5.2. 常用计算公式

对任意 $A$，

$$\boxed{A^{+}=(A^{H}A{)}^{+}{A}^H=A^H(A{A}^H{)}^{+}.}$$

若 $A$ 满列秩，即 $\mathrm{rank}(A)=n$，则 $A^{H}A$ 可逆，

$$\boxed{A^{+}=(A^{H}A{)}^{-1}{A}^H.}$$

若 $A$ 满行秩，即 $\mathrm{rank}(A)=m$，则 $A{A}^H$ 可逆，

$$\boxed{A^{+}=A^H(A{A}^H{)}^{-1}.}$$

特别地：

• 若 $A$ 可逆，则 $A^{+}=A^{-1}$；
• 若 $A$ 的列标准正交，则 $A^{+}=A^H$；
• 若 $A$ 的行标准正交，则 $A^{+}=A^H$；
• $0^{+}=0$。

6. 最小二乘与最小范数解

给定 $b\in {\mathbb{C}}^m$，考虑最小二乘问题

$$\underset{x\in {\mathbb{C}}^n}{\min }\Vert Ax-b{\Vert }_2^2.$$

因为 $A{A}^{+}b$ 是 $b$ 在 $\mathcal{R}(A)$ 上的正交投影，所有最小二乘解恰好满足

$$Ax=A{A}^{+}b.$$

因此完整解集为

$$\boxed{x=A^{+}b+(I_n-A^{+}A)z,z\in {\mathbb{C}}^n.}$$

其中

$$A(I_n-A^{+}A)=A-A{A}^{+}A=0,$$

所以第二项遍历 $\mathcal{N}(A)$。这也说明最小二乘解等价于正规方程

$$A^H(Ax-b)=0$$

的解。

又因为

$$A^{+}b\in \mathcal{R}(A^H)=\mathcal{N}(A{)}^{\perp },$$

$A^{+}b$ 与所有齐次项 $(I_n-A^{+}A)z$ 正交。因此

$$\boxed{x_{\star }=A^{+}b}$$

是所有最小二乘解中唯一的最小范数解。

若 $Ax=b$ 相容，则 $A{A}^{+}b=b$，上述公式给出全部精确解，而 $A^{+}b$ 是其中唯一的最小范数解。若 $A$ 满列秩，则 $\mathcal{N}(A)=\{0\}$，最小二乘解唯一：

$$x_{\star }=(A^{H}A{)}^{-1}{A}^{H}b.$$

例：秩亏的最小二乘问题

令

$$A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right),b=\left(\begin{array}{c}2\\ 0\end{array}\right).$$

因为

$$A^{+}=\frac{1}{4}\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right),$$

最小范数解为

$$x_{\star }=A^{+}b=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right).$$

此时 $A{x}_{\star }=(1,1{)}^T$ 是 $b$ 在 $\mathcal{R}(A)=\mathrm{span}\{(1,1{)}^T\}$ 上的正交投影。全部最小二乘解为

$$x=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)+t\left(\begin{array}{c}1\\ -1\end{array}\right),t\in \mathbb{C},$$

其中 $t=0$ 时范数最小。

7. 唯一性证明

设 $G,H\in {\mathbb{C}}^{n\times m}$ 都满足 $A$ 的四个 Penrose 条件。

首先，$AG$ 与 $AH$ 都是自伴幂等矩阵。例如

$$(AG{)}^2=(AGA)G=AG,(AG{)}^H=AG.$$

并且

$$\mathcal{R}(AG)=\mathcal{R}(A)=\mathcal{R}(AH).$$

这是因为 $\mathcal{R}(AG)\subseteq \mathcal{R}(A)$，而 $A=AGA$ 又给出反向包含。自伴幂等矩阵是其像空间上的正交投影，而同一子空间上的正交投影唯一，所以

$$AG=AH.$$

同理，$GA$ 与 $HA$ 都是自伴幂等矩阵。下面只需确认它们具有相同的像空间。由 $(GA{)}^H=GA$，

$$GA=A^H{G}^H,$$

故 $\mathcal{R}(GA)\subseteq \mathcal{R}(A^H)$。另一方面，对 $AGA=A$ 取共轭转置可得

$$A^H{G}^H{A}^H=A^H,$$

即

$$(GA)A^H=A^H,$$

从而 $\mathcal{R}(A^H)\subseteq \mathcal{R}(GA)$。因此

$$\mathcal{R}(GA)=\mathcal{R}(A^H)=\mathcal{R}(HA),$$

再次利用正交投影的唯一性可得

$$GA=HA.$$

最后，

$$G=GAG=G(AH)=(GA)H=(HA)H=HAH=H.$$

所以 Moore–Penrose 伪逆唯一。$\square$

8. 数值计算注意事项

理论公式 $(A^{H}A{)}^{-1}{A}^H$ 只适用于满列秩矩阵。数值计算中，即使满足满秩，也通常不应显式求逆或构造正规方程，因为 $A^{H}A$ 的条件数约为 $A$ 的条件数的平方。

实际计算伪逆通常使用 SVD：选择容差 $\tau$，只对 ${\sigma }_i>\tau$ 的奇异值取倒数，其余视为零。若 $r>0$，则

$$\Vert A^{+}{\Vert }_2=\frac{1}{{\sigma }_r},$$

所以很小的非零奇异值会被放大，导致对数据误差敏感。满秩最小二乘问题通常优先使用 QR 分解；秩亏或近似秩亏问题则优先使用 SVD。

9. 总结

• 广义逆只要求 $AGA=A$，总是存在但通常不唯一；
• Moore–Penrose 伪逆额外要求 $GAG=G$ 以及两个自伴条件，因此唯一；
• SVD 给出统一构造 $A^{+}=V_r{\Sigma }_r^{-1}{U}_r^H$；
• $A{A}^{+}$ 与 $A^{+}A$ 分别投影到 $\mathcal{R}(A)$ 与 $\mathcal{R}(A^H)$；
• $A^{+}b$ 是最小二乘问题唯一的最小范数解；
• 当 $A$ 可逆时，伪逆退化为普通逆：$A^{+}=A^{-1}$。