矩阵与导数

定义

• 散度：设 $\mathbf{F}(\mathbf{x})=(F_1,\dots ,F_d)$ 为 $d$ 维向量场。

  $$\nabla \cdot \mathbf{F}=\sum _{i=1}^d\frac{\partial F_i}{\partial x_i}$$

• 矩阵散度：设 $A(\mathbf{x})=(A_{ij})$ 为矩阵场，其散度为向量场

  $$(\nabla \cdot A{)}_i=\sum _j\frac{\partial A_{ij}}{\partial x_j}$$

性质

1. 线性性：设分量在相应点处可微；$a,b\in \mathbb{R}$ 为常数。 $$\nabla \cdot (a\mathbf{F}+b\mathbf{G})=a\nabla \cdot \mathbf{F}+b\nabla \cdot \mathbf{G}$$ 此性质对矩阵散度也成立。
2. 乘积法则（$f$ 为标量场） $$\nabla \cdot (f\mathbf{F})=\nabla f\cdot \mathbf{F}+f\nabla \cdot \mathbf{F}$$
3. 梯度的散度 = Laplacian $$\nabla \cdot (\nabla f)=\Delta f=\sum _i\frac{{\partial }^{2}f}{\partial x_i^2}$$
4. 散度与 Jacobian：$\nabla \cdot \mathbf{F}=\mathrm{Tr}(J_{\mathbf{F}})$，其中 $(J_{\mathbf{F}}{)}_{ij}={\partial }_j{F}_i$。
5. 设：
   • $\mathbf{x}\in {\mathbb{R}}^n$ 为自变量列向量。
   • $\mathbf{a}\in {\mathbb{R}}^m$ 为常数列向量。
   • $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ 为可微的标量函数，其梯度为 ${\nabla }_{\mathbf{x}}f(\mathbf{x})=\frac{\partial f}{\partial \mathbf{x}}$（是一个 $n\times 1$ 的列向量）。
     则 $\mathbf{a}f(\mathbf{x})$ 关于 $\mathbf{x}$ 的导数（雅可比矩阵）为：
     $\frac{\partial }{\partial \mathbf{x}}\left[\mathbf{a}f(\mathbf{x})\right]=\mathbf{a}({\nabla }_{\mathbf{x}}f(\mathbf{x}){)}^{\top }$
     这是一个大小为 $m\times n$ 的矩阵。
6. 双线性乘积法则（Product Rule）：对于矩阵函数 $M(\theta )$ 和向量函数 $v(\theta )$：$D_{\theta }[M(\theta )v(\theta )][h]=(D_{\theta }M(\theta )[h])v(\theta )+M(\theta )(D_{\theta }v(\theta )[h])$

---

证明

散度的线性性

线性性

$$\nabla \cdot (a\mathbf{F}+b\mathbf{G})=a\nabla \cdot \mathbf{F}+b\nabla \cdot \mathbf{G}$$

证：

$$\begin{array}{rl}\nabla \cdot (a\mathbf{F}+b\mathbf{G})& =\sum _{i=1}^d{\partial }_i(a{F}_i+b{G}_i)\\ & =\sum _{i=1}^d(a{\partial }_i{F}_i+b{\partial }_i{G}_i)\\ & =a\sum _{i=1}^d{\partial }_i{F}_i+b\sum _{i=1}^d{\partial }_i{G}_i\\ & =a\nabla \cdot \mathbf{F}+b\nabla \cdot \mathbf{G}.\end{array}$$

Q.E.D.

---

散度的乘积法则

乘积法则（$f$ 为标量场）

$$\nabla \cdot (f\mathbf{F})=\nabla f\cdot \mathbf{F}+f\nabla \cdot \mathbf{F}$$

证：由标量对向量乘积的分量求导法则 ${\partial }_i(f{F}_i)=({\partial }_{i}f)F_i+f({\partial }_i{F}_i)$，

$$\begin{array}{rl}\nabla \cdot (f\mathbf{F})& =\sum _{i=1}^d{\partial }_i(f{F}_i)\\ & =\sum _{i=1}^d({\partial }_{i}f)F_i+\sum _{i=1}^{d}f({\partial }_i{F}_i)\\ & =(\nabla f)\cdot \mathbf{F}+f\nabla \cdot \mathbf{F}.\end{array}$$

---

散度的梯度的散度

梯度的散度 = Laplacian

$$\nabla \cdot (\nabla f)=\Delta f=\sum _i\frac{{\partial }^{2}f}{\partial x_i^2}$$

证：梯度 $(\nabla f{)}_i={\partial }_{i}f$，故

$$\nabla \cdot (\nabla f)=\sum _{i=1}^d{\partial }_i((\nabla f{)}_i)=\sum _{i=1}^d{\partial }_i^{2}f=\Delta f.$$

---

散度与 Jacobian

散度与 Jacobian：$\nabla \cdot \mathbf{F}=\mathrm{Tr}(J_{\mathbf{F}})$，其中 $(J_{\mathbf{F}}{)}_{ij}={\partial }_j{F}_i$。

证：由迹的定义，

$$\mathrm{Tr}(J_{\mathbf{F}})=\sum _{i=1}^d(J_{\mathbf{F}}{)}_{ii}=\sum _{i=1}^d{\partial }_i{F}_i=\nabla \cdot \mathbf{F}.$$

---

A

设：

• $\mathbf{x}\in {\mathbb{R}}^n$ 为自变量列向量。
• $\mathbf{a}\in {\mathbb{R}}^m$ 为常数列向量。
• $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ 为可微的标量函数，其梯度为 ${\nabla }_{\mathbf{x}}f(\mathbf{x})=\frac{\partial f}{\partial \mathbf{x}}$（是一个 $n\times 1$ 的列向量）。

则 $\mathbf{a}f(\mathbf{x})$ 关于 $\mathbf{x}$ 的导数（雅可比矩阵）为：
$\frac{\partial }{\partial \mathbf{x}}\left[\mathbf{a}f(\mathbf{x})\right]=\mathbf{a}({\nabla }_{\mathbf{x}}f(\mathbf{x}){)}^{\top }$
这是一个大小为 $m\times n$ 的矩阵。

证：

设 $\mathbf{a}$ 和向量函数 $\mathbf{h}(\mathbf{x})=\mathbf{a}f(\mathbf{x})$ 的具体分量分别为：

$\mathbf{a}=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_m\end{array}\right],\mathbf{h}(\mathbf{x})=\mathbf{a}f(\mathbf{x})=\left[\begin{array}{c}{a}_{1}f(\mathbf{x})\\ a_{2}f(\mathbf{x})\\ ⋮\\ a_{m}f(\mathbf{x})\end{array}\right]$

其中每个分量函数可以记为 $h_i(\mathbf{x})=a_{i}f(\mathbf{x})$ （其中 $i=1,2,\dots ,m$）。

根据雅可比矩阵的定义，矩阵的第 $(i,j)$ 个元素是由第 $i$ 个输出分量对第 $j$ 个输入分量 $x_j$ 求偏导得到的：

${\left[\frac{\partial \mathbf{h}(\mathbf{x})}{\partial \mathbf{x}}\right]}_{ij}=\frac{\partial h_i(\mathbf{x})}{\partial x_j}$

代入 $h_i(\mathbf{x})=a_{i}f(\mathbf{x})$：

$\frac{\partial h_i(\mathbf{x})}{\partial x_j}=\frac{\partial }{\partial x_j}\left[a_{i}f(\mathbf{x})\right]$

由于 $a_i$ 是与 $\mathbf{x}$ 无关的常数，根据常数与函数的乘积求导法则，常数可以提出来：

$\frac{\partial h_i(\mathbf{x})}{\partial x_j}=a_i\frac{\partial f(\mathbf{x})}{\partial x_j}$

我们将偏导数排布成矩阵的各行。对于固定的行 $i$，其整行对 $\mathbf{x}$ 的梯度转置为：

${\nabla }_{\mathbf{x}}^{\top }{h}_i(\mathbf{x})=\left[\begin{array}{cccc}{a}_i\frac{\partial f}{\partial x_1},& a_i\frac{\partial f}{\partial x_2},& \dots ,& a_i\frac{\partial f}{\partial x_n}\end{array}\right]=a_i({\nabla }_{\mathbf{x}}f(\mathbf{x}){)}^{\top }$

将每一行（$i=1,2,\dots ,m$）组合起来，就得到了完整的 $m\times n$ 雅可比矩阵：

$\frac{\partial }{\partial \mathbf{x}}\left[\mathbf{a}f(\mathbf{x})\right]=\left[\begin{array}{cccc}{a}_1\frac{\partial f}{\partial x_1}& a_1\frac{\partial f}{\partial x_2}& \dots & a_1\frac{\partial f}{\partial x_n}\\ a_2\frac{\partial f}{\partial x_1}& a_2\frac{\partial f}{\partial x_2}& \dots & a_2\frac{\partial f}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ a_m\frac{\partial f}{\partial x_1}& a_m\frac{\partial f}{\partial x_2}& \dots & a_m\frac{\partial f}{\partial x_n}\end{array}\right]$

把常数列向量 $\mathbf{a}$ 和梯度行向量 $({\nabla }_{\mathbf{x}}f(\mathbf{x}){)}^{\top }$ 提取公因式：

$=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_m\end{array}\right]\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1},& \frac{\partial f}{\partial x_2},& \dots ,& \frac{\partial f}{\partial x_n}\end{array}\right]=\mathbf{a}({\nabla }_{\mathbf{x}}f(\mathbf{x}){)}^{\top }$

Q.E.D.

---

双线性乘积法则（Product Rule）：对于矩阵函数 $M(\theta )$ 和向量函数 $v(\theta )$：$D_{\theta }[M(\theta )v(\theta )][h]=(D_{\theta }M(\theta )[h])v(\theta )+M(\theta )(D_{\theta }v(\theta )[h])$

证：

对于可微映射 $f(\theta )$，其沿方向 $h$ 的方向导数定义为极限：

$D_{\theta }f(\theta )[h]={\lim }_{ϵ\to 0}\frac{f(\theta +ϵh)-f(\theta )}{ϵ}$

设复合映射为 $F(\theta )=M(\theta )v(\theta )$，将其代入方向导数的极限定义中：

$D_{\theta }[M(\theta )v(\theta )][h]={\lim }_{ϵ\to 0}\frac{M(\theta +ϵh)v(\theta +ϵh)-M(\theta )v(\theta )}{ϵ}$

第一步：引入交叉项拆分分子
在分子中同时加减交叉项 $M(\theta +ϵh)v(\theta )$：

$\frac{M(\theta +ϵh)v(\theta +ϵh)-M(\theta +ϵh)v(\theta )+M(\theta +ϵh)v(\theta )-M(\theta )v(\theta )}{ϵ}$

第二步：提取公因式并拆分为两项
应用矩阵乘法的分配律，分别提取左公因矩阵 $M(\theta +ϵh)$ 与右公因向量 $v(\theta )$：

$\frac{F(\theta +ϵh)-F(\theta )}{ϵ}=M(\theta +ϵh)\left(\frac{v(\theta +ϵh)-v(\theta )}{ϵ}\right)+\left(\frac{M(\theta +ϵh)-M(\theta )}{ϵ}\right)v(\theta )$

第三步：分别求各项极限 ($ϵ\to 0$)

1. 矩阵函数的连续性：因为 $M(\theta )$ 可微，所以它在 $\theta$ 处连续：

${\lim }_{ϵ\to 0}M(\theta +ϵh)=M(\theta )$

2. 向量的方向导数极限：由定义可得：

${\lim }_{ϵ\to 0}\frac{v(\theta +ϵh)-v(\theta )}{ϵ}=D_{\theta }v(\theta )[h]$

3. 矩阵的方向导数极限：由定义可得：

${\lim }_{ϵ\to 0}\frac{M(\theta +ϵh)-M(\theta )}{ϵ}=D_{\theta }M(\theta )[h]$

第四步：组合极限结果
将上述三项极限代回第二步的表达式中：

$\begin{array}{rl}{D}_{\theta }[M(\theta )v(\theta )][h]& =\underset{ϵ\to 0}{\lim }M(\theta +ϵh)\left(\frac{v(\theta +ϵh)-v(\theta )}{ϵ}\right)+\underset{ϵ\to 0}{\lim }\left(\frac{M(\theta +ϵh)-M(\theta )}{ϵ}\right)v(\theta )\\ & =M(\theta )(D_{\theta }v(\theta )[h])+(D_{\theta }M(\theta )[h])v(\theta )\end{array}$

调整加法顺序，即证得双线性乘积法则：

$D_{\theta }[M(\theta )v(\theta )][h]=(D_{\theta }M(\theta )[h])v(\theta )+M(\theta )(D_{\theta }v(\theta )[h])$