向量范数与矩阵范数

Warning

此内容由AI生成，尚未审查完。

Prerequisites

• diagonalization

若无特别说明，向量空间定义在 $\mathbb{C}$ 上，矩阵

$$A=(a_{ij})\in {\mathbb{C}}^{m\times n}.$$

记 $A^H$ 为 $A$ 的共轭转置；在实数情形下，$A^H=A^T$，酉矩阵相应退化为正交矩阵。

1. 向量范数

1.1. 定义

设 $V$ 是复向量空间。函数

$$\Vert \cdot \Vert :V\to \mathbb{R}$$

称为 $V$ 上的一个范数，如果对任意 $x,y\in V$ 和 $\alpha \in \mathbb{C}$ 都满足：

1. 正定性

$$\Vert x\Vert \ge 0,\Vert x\Vert =0⟺x=0;$$

2. 绝对齐次性

$$\Vert \alpha x\Vert =|\alpha |\Vert x\Vert ;$$

3. 三角不等式

$$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert .$$

1.2. 向量 $p$-范数

对 $x=(x_1,\dots ,x_n{)}^T\in {\mathbb{C}}^n$ 和 $1\le p<\infty$，定义

$$\boxed{\Vert x{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}.}$$

当 $p=\infty$ 时，定义

$$\boxed{\Vert x{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|.}$$

最常用的三个例子是

$$\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|,\Vert x{\Vert }_2=\sqrt{x^{H}x},\Vert x{\Vert }_{\infty }=\underset{i}{\max }|x_i|.$$

其中 $\Vert \cdot {\Vert }_2$ 是标准内积诱导的 Euclidean 范数。$p$-范数的三角不等式是 Minkowski 不等式。

若 $1\le p\le q\le \infty$，则有限维空间中的这些范数满足

$$\boxed{\Vert x{\Vert }_q\le \Vert x{\Vert }_p\le n^{1/p-1/q}\Vert x{\Vert }_q,}$$

其中约定 $1/\infty =0$。因此有限维空间中的所有 $p$-范数都等价。

2. 矩阵范数与诱导范数

2.1. 一般矩阵范数

将 ${\mathbb{C}}^{m\times n}$ 看作一个向量空间后，任何满足范数三条公理的函数都可以称为矩阵范数。

当矩阵乘法有定义时，若一族矩阵范数还满足

$$\boxed{\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert ,}$$

则称它具有次乘性。有些教材直接把次乘性列入“矩阵范数”的定义，因此使用某个矩阵范数前需要先确认约定。

2.2. 诱导 $p$-范数

矩阵 $A\in {\mathbb{C}}^{m\times n}$ 表示线性映射

$$A:({\mathbb{C}}^n,\Vert \cdot {\Vert }_p)\to ({\mathbb{C}}^m,\Vert \cdot {\Vert }_p).$$

由向量 $p$-范数诱导的矩阵范数定义为

$$\boxed{\Vert A{\Vert }_p:=\underset{x\ne 0}{\sup }\frac{\Vert Ax{\Vert }_p}{\Vert x{\Vert }_p}=\underset{\Vert x{\Vert }_p=1}{\max }\Vert Ax{\Vert }_p.}$$

这里可以写成最大值，是因为有限维空间的单位球面是紧集，而 $x\mapsto \Vert Ax{\Vert }_p$ 连续。诱导范数也称为算子范数或从属范数。

由定义立刻得到相容性：

$$\boxed{\Vert Ax{\Vert }_p\le \Vert A{\Vert }_p\Vert x{\Vert }_p.}$$

它确实是一个范数。例如，

$$\begin{array}{rl}\Vert A+B{\Vert }_p& =\underset{\Vert x{\Vert }_p=1}{\max }\Vert (A+B)x{\Vert }_p\\ & \le \underset{\Vert x{\Vert }_p=1}{\max }(\Vert Ax{\Vert }_p+\Vert Bx{\Vert }_p)\\ & \le \Vert A{\Vert }_p+\Vert B{\Vert }_p.\end{array}$$

绝对齐次性可直接由定义得到；若 $\Vert A{\Vert }_p=0$，则对每个标准基向量 $e_j$ 都有 $A{e}_j=0$，所以 $A=0$，正定性也成立。

2.3. 次乘性

设 $A\in {\mathbb{C}}^{m\times n}$、$B\in {\mathbb{C}}^{n\times k}$。由相容性，

$$\Vert ABx{\Vert }_p\le \Vert A{\Vert }_p\Vert Bx{\Vert }_p\le \Vert A{\Vert }_p\Vert B{\Vert }_p\Vert x{\Vert }_p.$$

对所有 $\Vert x{\Vert }_p=1$ 的向量取最大值，得到

$$\boxed{\Vert AB{\Vert }_p\le \Vert A{\Vert }_p\Vert B{\Vert }_p.}$$

特别地，

$$\Vert I_n{\Vert }_p=1.$$

3. 常用诱导矩阵范数

3.1. 诱导 $1$-范数

诱导 $1$-范数等于绝对列和的最大值：

$$\boxed{\Vert A{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|.}$$

事实上，对任意 $x\in {\mathbb{C}}^n$，

$$\begin{array}{rl}\Vert Ax{\Vert }_1& =\sum _{i=1}^m\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|\\ & \le \sum _{j=1}^n\left(\sum _{i=1}^m|a_{ij}|\right)|x_j|\\ & \le \left(\underset{j}{\max }\sum _i|a_{ij}|\right)\Vert x{\Vert }_1.\end{array}$$

反过来，取绝对列和最大的第 $j_0$ 列及标准基向量 $e_{j_0}$，便有

$$\Vert A{e}_{j_0}{\Vert }_1=\sum _{i=1}^m|a_{i{j}_0}|.$$

所以这个上界可以取到。

3.2. 诱导 $\infty$-范数

诱导 $\infty$-范数等于绝对行和的最大值：

$$\boxed{\Vert A{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|.}$$

一方面，

$$\begin{array}{rl}\Vert Ax{\Vert }_{\infty }& =\underset{i}{\max }\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|\\ & \le \underset{i}{\max }\sum _{j=1}^n|a_{ij}||x_j|\\ & \le \left(\underset{i}{\max }\sum _j|a_{ij}|\right)\Vert x{\Vert }_{\infty }.\end{array}$$

另一方面，设第 $i_0$ 行的绝对行和最大，并令

$$x_j=\{\begin{array}{ll}\overline{a_{i_{0}j}}/|a_{i_{0}j}|,& a_{i_{0}j}\ne 0,\\ 1,& a_{i_{0}j}=0.\end{array}$$

则 $\Vert x{\Vert }_{\infty }=1$，而

$$(Ax{)}_{i_0}=\sum _{j=1}^n|a_{i_{0}j}|,$$

所以上界同样可以取到。

3.3. 诱导 $2$-范数：谱范数

诱导 $2$-范数称为矩阵的谱范数：

$$\boxed{\Vert A{\Vert }_2=\underset{x\ne 0}{\max }\frac{\Vert Ax{\Vert }_2}{\Vert x{\Vert }_2}=\underset{\Vert x{\Vert }_2=1}{\max }\Vert Ax{\Vert }_2.}$$

由于 $A^{H}A$ 是 Hermitian 半正定矩阵，

$$\Vert Ax{\Vert }_2^2=x^H{A}^{H}Ax.$$

对 $A^{H}A$ 使用谱定理和 Rayleigh 商可得

$$\boxed{\Vert A{\Vert }_2=\sqrt{{\lambda }_{\max }(A^{H}A)}.}$$

其中 ${\lambda }_{\max }(A^{H}A)$ 是 $A^{H}A$ 的最大特征值。特别地，

$$\boxed{\Vert A^H{\Vert }_2=\Vert A{\Vert }_2.}$$

也可以直接由 Euclidean 范数的对偶表示

$$\Vert z{\Vert }_2=\underset{\Vert y{\Vert }_2=1}{\max }|y^{H}z|$$

得到最后一个等式。

3.4. 谱范数的酉不变性

设

$$Q\in {\mathbb{C}}^{m\times m},W\in {\mathbb{C}}^{n\times n}$$

都是酉矩阵。酉矩阵保持 Euclidean 范数，并且把单位球面双射到自身，所以

$$\begin{array}{rl}\Vert QAW{\Vert }_2& =\underset{\Vert x{\Vert }_2=1}{\max }\Vert QAWx{\Vert }_2\\ & =\underset{\Vert x{\Vert }_2=1}{\max }\Vert AWx{\Vert }_2\\ & =\underset{\Vert y{\Vert }_2=1}{\max }\Vert Ay{\Vert }_2\\ & =\Vert A{\Vert }_2.\end{array}$$

因此

$$\boxed{\Vert QAW{\Vert }_2=\Vert A{\Vert }_2.}$$

一般的诱导 $p$-范数在 $p\ne 2$ 时并不具有任意酉变换下的不变性。

4. Frobenius 范数

4.1. 定义与等价表达式

Frobenius 范数定义为所有矩阵元素的平方和开根号：

$$\boxed{\Vert A{\Vert }_F:={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{1/2}.}$$

它有如下等价表达式：

$$\boxed{\Vert A{\Vert }_F^2=\mathrm{tr}(A^{H}A)=\mathrm{tr}(A{A}^H).}$$

矩阵空间上的 Frobenius 内积为

$$⟨A,B{⟩}_F:=\mathrm{tr}(B^{H}A)=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}\overline{b_{ij}},$$

而

$$\Vert A{\Vert }_F=\sqrt{⟨A,A{⟩}_F}.$$

所以 Frobenius 范数就是把矩阵按元素视为 $mn$ 维向量时的 Euclidean 范数。

需要注意，Frobenius 范数虽然是矩阵空间内积诱导的范数，却不是向量 $2$-范数诱导的算子范数。例如，当 $n>1$ 时，

$$\Vert I_n{\Vert }_F=\sqrt{n},\Vert I_n{\Vert }_2=1.$$

4.2. Frobenius 范数的酉不变性

仍设 $Q\in {\mathbb{C}}^{m\times m}$、$W\in {\mathbb{C}}^{n\times n}$ 为酉矩阵。利用 $Q^{H}Q=I_m$、$W{W}^H=I_n$ 以及迹的循环不变性，

$$\begin{array}{rl}\Vert QAW{\Vert }_F^2& =\mathrm{tr}((QAW{)}^H(QAW))\\ & =\mathrm{tr}(W^H{A}^H{Q}^{H}QAW)\\ & =\mathrm{tr}(W^H{A}^{H}AW)\\ & =\mathrm{tr}(A^{H}AW{W}^H)\\ & =\mathrm{tr}(A^{H}A).\end{array}$$

因此

$$\boxed{\Vert QAW{\Vert }_F=\Vert A{\Vert }_F.}$$

4.3. 乘积估计

设 $A\in {\mathbb{C}}^{m\times n}$、$B\in {\mathbb{C}}^{n\times k}$，并把 $B$ 的列记为 $b_1,\dots ,b_k$。则

$$\begin{array}{rl}\Vert AB{\Vert }_F^2& =\sum _{j=1}^k\Vert A{b}_j{\Vert }_2^2\\ & \le \sum _{j=1}^k\Vert A{\Vert }_2^2\Vert b_j{\Vert }_2^2\\ & =\Vert A{\Vert }_2^2\Vert B{\Vert }_F^2.\end{array}$$

结合共轭转置可得另一侧的估计，故

$$\boxed{\Vert AB{\Vert }_F\le \min \{\Vert A{\Vert }_2\Vert B{\Vert }_F,\Vert A{\Vert }_F\Vert B{\Vert }_2\}.}$$

又因为 $\Vert A{\Vert }_2\le \Vert A{\Vert }_F$，所以

$$\boxed{\Vert AB{\Vert }_F\le \Vert A{\Vert }_F\Vert B{\Vert }_F.}$$

因此 Frobenius 范数也具有次乘性。

5. 常用范数之间的关系

5.1. 谱范数与 Frobenius 范数

对任意 $x\in {\mathbb{C}}^n$，逐行使用 Cauchy–Schwarz 不等式可得

$$\Vert Ax{\Vert }_2^2\le \left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)\Vert x{\Vert }_2^2=\Vert A{\Vert }_F^2\Vert x{\Vert }_2^2.$$

因此

$$\Vert A{\Vert }_2\le \Vert A{\Vert }_F.$$

另一方面，若 $e_1,\dots ,e_n$ 是 ${\mathbb{C}}^n$ 的标准基，则

$$\Vert A{\Vert }_F^2=\sum _{j=1}^n\Vert A{e}_j{\Vert }_2^2\le n\Vert A{\Vert }_2^2.$$

对 $A^H$ 使用同样的结论，并利用

$$\Vert A^H{\Vert }_F=\Vert A{\Vert }_F,\Vert A^H{\Vert }_2=\Vert A{\Vert }_2,$$

还可得到 $\Vert A{\Vert }_F\le \sqrt{m}\Vert A{\Vert }_2$。综上，

$$\boxed{\Vert A{\Vert }_2\le \Vert A{\Vert }_F\le \sqrt{\min \{m,n\}}\Vert A{\Vert }_2.}$$

5.2. $1$-范数、$\infty$-范数与谱范数

对任意 $x\in {\mathbb{C}}^n$，

$$\begin{array}{rl}\Vert Ax{\Vert }_2^2& =\sum _i{\left|\sum _j{a}_{ij}{x}_j\right|}^2\\ & \le \sum _i\left(\sum _j|a_{ij}|\right)\left(\sum _j|a_{ij}||x_j{|}^2\right)\\ & \le \Vert A{\Vert }_{\infty }\sum _j\left(\sum _i|a_{ij}|\right)|x_j{|}^2\\ & \le \Vert A{\Vert }_{\infty }\Vert A{\Vert }_1\Vert x{\Vert }_2^2.\end{array}$$

所以

$$\boxed{\Vert A{\Vert }_2\le \sqrt{\Vert A{\Vert }_1\Vert A{\Vert }_{\infty }}.}$$

5.3. 谱范数与谱半径

“谱范数”和“谱半径”是两个不同的概念。对方阵 $A\in {\mathbb{C}}^{n\times n}$，谱半径定义为

$$\rho (A):=\underset{\lambda \in \sigma (A)}{\max }|\lambda |.$$

若 $Av=\lambda v$ 且 $v\ne 0$，则对任意诱导范数都有

$$|\lambda |\Vert v\Vert =\Vert Av\Vert \le \Vert A\Vert \Vert v\Vert ,$$

因此

$$\boxed{\rho (A)\le \Vert A\Vert .}$$

特别地，$\rho (A)\le \Vert A{\Vert }_2$，但一般不取等号。例如

$$N=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$$

满足 $\rho (N)=0$，而 $\Vert N{\Vert }_2=1$。

6. 算例

令

$$A=\left(\begin{array}{cc}1& -2\\ 3& 4\end{array}\right).$$

由绝对列和、绝对行和以及元素平方和可得

$$\Vert A{\Vert }_1=6,\Vert A{\Vert }_{\infty }=7,\Vert A{\Vert }_F=\sqrt{30}.$$

又因为

$$A^{H}A=\left(\begin{array}{cc}10& 10\\ 10& 20\end{array}\right)$$

的最大特征值为 $15+5\sqrt{5}$，所以

$$\Vert A{\Vert }_2=\sqrt{15+5\sqrt{5}}.$$

这个例子表明，同一个矩阵在不同范数下通常具有不同的大小。

7. 与奇异值的关系

学完 svd 后，上面的两个范数还可以写成更直观的形式。若 $A\ne 0$ 且

$${\sigma }_1\ge \cdots \ge {\sigma }_r>0$$

是 $A$ 的正奇异值，$r=\mathrm{rank}(A)$，则

$$\boxed{\Vert A{\Vert }_2={\sigma }_1,\Vert A{\Vert }_F={\left(\sum _{i=1}^r{\sigma }_i^2\right)}^{1/2}.}$$

于是前面的范数关系可以加强为

$$\boxed{\Vert A{\Vert }_2\le \Vert A{\Vert }_F\le \sqrt{r}\Vert A{\Vert }_2.}$$

当 $A=0$ 时，上式相应地理解为 $\Vert A{\Vert }_2=\Vert A{\Vert }_F=0$。前六节不依赖 SVD，因此可以作为构造 SVD 时的前置知识。

8. 总结

• $\Vert x{\Vert }_p$ 衡量向量的大小；$\Vert A{\Vert }_p$ 表示由同一个向量 $p$-范数诱导的算子范数。
• $\Vert A{\Vert }_1$ 是最大绝对列和，$\Vert A{\Vert }_{\infty }$ 是最大绝对行和。
• $\Vert A{\Vert }_2=\sqrt{{\lambda }_{\max }(A^{H}A)}$，它也称为谱范数。
• $\Vert A{\Vert }_F^2=\mathrm{tr}(A^{H}A)$；Frobenius 范数不是诱导 $2$-范数。
• 诱导范数和 Frobenius 范数都具有次乘性；谱范数与 Frobenius 范数都具有酉不变性。