矩阵微分演算

Base Principle

$l=f(A),f:{\mathbb{R}}^{m\times n}\to \mathbb{R},f\in {\mathcal{C}}^1$

$$\begin{array}{r}\frac{\partial f}{\partial A}=\left[\begin{array}{cccc}\frac{\partial f}{\partial A_{1,1}}& \frac{\partial f}{\partial A_{1,2}}& \cdots & \frac{\partial f}{\partial A_{1,n}}\\ \frac{\partial f}{\partial A_{2,1}}& \frac{\partial f}{\partial A_{2,2}}& \cdots & \frac{\partial f}{\partial A_{2,n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial A_{m,1}}& \frac{\partial f}{\partial A_{m,2}}& \cdots & \frac{\partial f}{\partial A_{m,n}}\end{array}\right]\end{array}$$

标量微分由 Frobenius 内积给出：

$$dl={⟨\frac{\partial l}{\partial A},dA⟩}_F=\mathrm{tr}\left[{\left(\frac{\partial l}{\partial A}\right)}^{T}dA\right].$$

对于向量自变量同理：

$$dl=({\nabla }_{\mathbf{x}}l{)}^{T}d\mathbf{x}.$$

因此，只要找到满足

$$\forall dA,dl=\mathrm{tr}(B^{T}dA)$$

的 $B$，就有 $\frac{\partial f}{\partial A}=B$。

Useful Rules

Differential

• Addition rule: $d(X\pm Y)=dX\pm dY$
• Product rule: $d(XY)=(dX)Y+XdY$
• Inverse: $d{X}^{-1}=-X^{-1}(dX)X^{-1}$
• Transpose: $d(X^T)=(dX{)}^T$
• Trace: $d\mathrm{tr}(X)=\mathrm{tr}(dX)$
• Determinant: $d|X|=\mathrm{tr}(X^{\#}dX)$，其中 $X^{\#}=\mathrm{adj}(X)$ 是伴随矩阵（adjugate），不要与 Moore–Penrose 伪逆等广义逆混淆。若 $X$ 可逆，也可写成更常用的 $d|X|=|X|\mathrm{tr}(X^{-1}dX)$
• Hadamard product: $d(X\odot Y)=dX\odot Y+X\odot dY$
• Component-wise(element-wise) function: $d\sigma (X)={\sigma }^{\prime }(X)\odot dX$

Trace

• Scalar trace: $a=\mathrm{tr}(a)$
• Transpose: $\mathrm{tr}(A^T)=\mathrm{tr}(A)$
• Linearity: $\mathrm{tr}(aA+bB)=a\mathrm{tr}(A)+b\mathrm{tr}(B)$
• Cyclic property: $\mathrm{tr}(AB)=\mathrm{tr}(BA)$，只要 $AB$ 与 $BA$ 都有定义即可。例如 $A\in {\mathbb{R}}^{m\times n}$，$B\in {\mathbb{R}}^{n\times m}$ 时，$AB\in {\mathbb{R}}^{m\times m}$，$BA\in {\mathbb{R}}^{n\times n}$，但二者迹仍相等，且都等于 ${\sum }_{i,j}{A}_{ij}{B}_{ji}$
• Cyclic property with Hadamard product: $\mathrm{tr}(A^T(B\odot C))=\mathrm{tr}((A\odot B{)}^{T}C)$，其中 $A,B,C$ 维数相同。二者都等于 ${\sum }_{i,j}{A}_{ij}{B}_{ij}{C}_{ij}$

常见的微分演算

• $n$ : dimension of output
• $\hat{\mathbf{y}}$ : predicted value
• $\mathbf{y}$ : target value

MSE

$\hat{\mathbf{y}}=W\mathbf{x}+\mathbf{b}$

$l={\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2=(\hat{\mathbf{y}}-\mathbf{y}{)}^T(\hat{\mathbf{y}}-\mathbf{y})$

let $\mathbf{t}=\hat{\mathbf{y}}-\mathbf{y}$,

$$dl=\mathrm{tr}({\mathbf{t}}^{T}d\mathbf{t}+d{\mathbf{t}}^T\mathbf{t})=\mathrm{tr}({\mathbf{t}}^{T}d\mathbf{t})+\mathrm{tr}(d{\mathbf{t}}^T\mathbf{t})=\mathrm{tr}((2\mathbf{t}{)}^{T}d\mathbf{t})$$

Thus
$\frac{\partial l}{\partial \mathbf{t}}=2\mathbf{t}$

$d\mathbf{t}=d(\hat{\mathbf{y}}-\mathbf{y})=d\hat{\mathbf{y}}$

$\frac{\partial l}{\partial \hat{\mathbf{y}}}=2\mathbf{t}$

$d\hat{\mathbf{y}}=d(W\mathbf{x}+\mathbf{b})=dW\mathbf{x}$

$$dl=\mathrm{tr}\left({\left(\frac{\partial l}{\partial \hat{\mathbf{y}}}\right)}^{T}dW\mathbf{x}\right)=\mathrm{tr}\left(\mathbf{x}{\left(\frac{\partial l}{\partial \hat{\mathbf{y}}}\right)}^{T}dW\right)=\mathrm{tr}\left({\left(\left(\frac{\partial l}{\partial \hat{\mathbf{y}}}\right){\mathbf{x}}^T\right)}^{T}dW\right)$$

$\frac{\partial l}{\partial W}=\left(\frac{\partial l}{\partial \hat{\mathbf{y}}}\right){\mathbf{x}}^T=2\mathbf{t}{\mathbf{x}}^T$

Eigenvalue and Eigenvector

Suppose $A\in {\mathrm{Sym}}_n(\mathbb{R})$，则 $A$ 可分解为

$$A=Q\Lambda Q^T$$ $$\begin{array}{c}\Lambda =\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n),{\lambda }_i\le {\lambda }_{i+1}\\ Q=({\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n)\in {\mathbf{O}}_n(\mathbb{R}),{\mathbf{O}}_n(\mathbb{R})=\{\mathbf{M}\in {\mathbb{R}}^{n\times n}\mid {\mathbf{M}}^T\mathbf{M}=\mathbf{I}\}\end{array}$$

其中 ${\lambda }_i$ 是 $A$ 的特征值，$Q$ 是特征向量矩阵。由 $Q^{T}Q=\mathbf{I}$ 得

$$Q^{T}dQ+d{Q}^{T}Q=0.$$

令 $H=Q^{T}dQ$，则 $H^T=-H$，且 $d{Q}^{T}Q=-H$。对 $A=Q\Lambda Q^T$ 求微分：

$$dA=dQ\Lambda Q^T+Qd\Lambda Q^T+Q\Lambda d{Q}^T.$$

左乘 $Q^T$、右乘 $Q$ 得

$$Q^{T}dAQ=H\Lambda +d\Lambda -\Lambda H.$$

Eigenvalue

因为 $H$ 反对称且 $\Lambda$ 对角，对角元满足

$$(d\Lambda {)}_{ii}=(Q^{T}dAQ{)}_{ii},$$

即

$$d{\lambda }_i={\mathbf{q}}_i^T(dA){\mathbf{q}}_i,\mathrm{diag}(d\Lambda )=\mathrm{diag}(Q^{T}dAQ).$$

注意一般不能写成整矩阵等式 $d\Lambda =Q^{T}dAQ$，因为 $Q$ 本身依赖 $A$。若 $l=l({\lambda }_1,\dots ,{\lambda }_n)$，则

$$dl=\sum _{i=1}^n\frac{\partial l}{\partial {\lambda }_i}d{\lambda }_i=\mathrm{tr}\left({\left(Q\mathrm{diag}\left(\frac{\partial l}{\partial {\lambda }_1},\dots ,\frac{\partial l}{\partial {\lambda }_n}\right)Q^T\right)}^{T}dA\right).$$

从而

$${\nabla }_{A}l=Q\mathrm{diag}\left(\frac{\partial l}{\partial {\lambda }_1},\dots ,\frac{\partial l}{\partial {\lambda }_n}\right)Q^T.$$

Eigenvector

以下额外假设 $A$ 的特征值互异：

$${\lambda }_i\ne {\lambda }_j,i\ne j.$$

若存在重根 ${\lambda }_i={\lambda }_j$，则 $\frac{1}{{\lambda }_j-{\lambda }_i}$ 发散，对应特征向量的微分不能用下面的公式计算。

由 $Q^{T}dAQ=H\Lambda +d\Lambda -\Lambda H$，对 $i\ne j$ 有

$$(Q^{T}dAQ{)}_{ij}=H_{ij}({\lambda }_j-{\lambda }_i),$$

于是

$$H_{ij}=\frac{(Q^{T}dAQ{)}_{ij}}{{\lambda }_j-{\lambda }_i},H_{ii}=0.$$

令

$$F_{ij}=\{\begin{array}{ll}\frac{1}{{\lambda }_j-{\lambda }_i}& i\ne j\\ 0& i=j\end{array}$$

则

$$H=F\odot (Q^{T}dAQ).$$

将 $dQ=QH$ 代入标量微分：

$$\begin{array}{rl}dl& =\mathrm{tr}\left({\left(\frac{\partial l}{\partial Q}\right)}^{T}dQ\right)\\ & =\mathrm{tr}\left({\left(\frac{\partial l}{\partial Q}\right)}^{T}QH\right)\\ & =\mathrm{tr}\left({\left(Q^T\frac{\partial l}{\partial Q}\right)}^T(F\odot (Q^{T}dAQ))\right)\\ & =\mathrm{tr}\left({\left(\left(Q^T\frac{\partial l}{\partial Q}\right)\odot F\right)}^T(Q^{T}dAQ)\right)\\ & =\mathrm{tr}\left({\left(Q\left(\left(Q^T\frac{\partial l}{\partial Q}\right)\odot F\right)Q^T\right)}^{T}dA\right).\end{array}$$

令候选矩阵

$$B=Q\left(\left(Q^T\frac{\partial l}{\partial Q}\right)\odot F\right)Q^T.$$

因为 $A\in {\mathrm{Sym}}_n(\mathbb{R})$，有 $dA=d{A}^T$，故 $dA$ 不是任意矩阵。此时

$$\mathrm{tr}(B^{T}dA)=\mathrm{tr}(\mathrm{sym}(B{)}^{T}dA)$$

对所有对称的 $dA$ 成立，因此

$${\nabla }_{A}l=\mathrm{sym}(B)=\frac{B+B^T}{2}.$$

多元高斯的梯度

多元高斯的梯度

$${\nabla }_{\mathbf{x}}p(\mathbf{x})=-{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })p(\mathbf{x})$$

证明：

设损失函数（或者这里直接看作概率密度函数 $p(\mathbf{x})$ 本身）为标量 $f(\mathbf{x})=p(\mathbf{x})$。
多维高斯分布的表达式为：

$p(\mathbf{x})=C\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$

其中 $C=\frac{1}{(2\pi {)}^{d/2}|\mathbf{\Sigma }|{}^{1/2}}$ 是常数。

为了求关于 $\mathbf{x}$ 的梯度，我们首先对整体求微分 $dp(\mathbf{x})$，并将其化简为 $\text{tr}(B^{T}d\mathbf{x})$ 的形式。

根据复合函数法则（链式法则）与指数函数的微分公式：

$dp(\mathbf{x})=C\cdot \exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)\cdot d\left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$

注意到前面部分恰好就是 $p(\mathbf{x})$，所以：

$dp(\mathbf{x})=p(\mathbf{x})\cdot \left(-\frac{1}{2}d\left[(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right]\right)$

令 $\mathbf{t}=\mathbf{x}-\mathbf{\mu }$，则 $d\mathbf{t}=d\mathbf{x}$。我们需要对二次型 ${\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}\mathbf{t}$ 求微分。

根据矩阵乘积的微分法则 $d(XY)=(dX)Y+XdY$：

$d\left({\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}\mathbf{t}\right)=(d{\mathbf{t}}^T){\mathbf{\Sigma }}^{-1}\mathbf{t}+{\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}(d\mathbf{t})$

由于 ${\mathbf{\Sigma }}^{-1}$ 是对称矩阵（因为协方差矩阵 $\mathbf{\Sigma }$ 对称，其逆矩阵也对称），且 ${\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}$ 是一个标量（其转置等于其本身）：

1. 第一项 $(d{\mathbf{t}}^T){\mathbf{\Sigma }}^{-1}\mathbf{t}$ 的转置为 ${\mathbf{t}}^T({\mathbf{\Sigma }}^{-1}{)}^{T}d\mathbf{t}={\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}$。
2. 因此，两项完全相等：

$d\left({\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}\mathbf{t}\right)=2{\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}$

将二次型的微分代回 $dp(\mathbf{x})$：

$dp(\mathbf{x})=p(\mathbf{x})\cdot \left(-\frac{1}{2}\cdot 2{\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}\right)=-p(\mathbf{x}){\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}$

由于 $dp(\mathbf{x})$ 是一个标量，根据框架中的基础性质 $a=\text{tr}(a)$ 以及 迹的线性性质，将其套入迹算子中：

$dp(\mathbf{x})=\text{tr}\left(-p(\mathbf{x}){\mathbf{t}}^T{\mathbf{\Sigma }}^{-1}d\mathbf{t}\right)$

$dp(\mathbf{x})=\text{tr}\left({\left(-p(\mathbf{x}){\mathbf{\Sigma }}^{-1}\mathbf{t}\right)}^{T}d\mathbf{t}\right)$

因为 $\mathbf{t}=\mathbf{x}-\mathbf{\mu }$，所以 $d\mathbf{t}=d\mathbf{x}$：

$dp(\mathbf{x})=\text{tr}\left({\left(-p(\mathbf{x}){\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)}^{T}d\mathbf{x}\right)$

对照基础原理公式：

$\forall dX,dl=\text{tr}(B^{T}dX)⟹\frac{\partial l}{\partial X}=B$

在这里，变量是向量 $\mathbf{x}$（可以看作 $d\times 1$ 矩阵），对应得到：

${\nabla }_{\mathbf{x}}p(\mathbf{x})=-p(\mathbf{x}){\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })$

整理后即为：

${\nabla }_{\mathbf{x}}p(\mathbf{x})=-{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })p(\mathbf{x})$

Q.E.D.

---

MSE

设标量函数 $l(\mathbf{x})=\Vert \mathbf{a}-f(\mathbf{x})\Vert {}^2$，其中 $\mathbf{a}\in {\mathbb{R}}^m$，$\mathbf{x}\in {\mathbb{R}}^n$，$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 为向量函数。

令中间向量 $\mathbf{t}=\mathbf{a}-f(\mathbf{x})$，则 $l(\mathbf{x})$ 可改写为内积形式：

$l(\mathbf{x})={\mathbf{t}}^T\mathbf{t}$

对 $l$ 关于 $\mathbf{t}$ 求微分：

$dl=d({\mathbf{t}}^T\mathbf{t})=(d\mathbf{t}{)}^T\mathbf{t}+{\mathbf{t}}^{T}d\mathbf{t}$

由于 $(d\mathbf{t}{)}^T\mathbf{t}$ 是标量，其转置等于本身，即 $(d\mathbf{t}{)}^T\mathbf{t}={\mathbf{t}}^{T}d\mathbf{t}$，因此：

$dl=2{\mathbf{t}}^{T}d\mathbf{t}$

因为 $\mathbf{a}$ 是常数向量，对 $\mathbf{t}=\mathbf{a}-f(\mathbf{x})$ 求微分得到：

$d\mathbf{t}=d(\mathbf{a}-f(\mathbf{x}))=-df(\mathbf{x})$

利用多变量函数的微分法则，$df(\mathbf{x})=J_f(\mathbf{x})d\mathbf{x}$，其中 $J_f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\in {\mathbb{R}}^{m\times n}$ 是 $f$ 的雅可比矩阵（Jacobian matrix），代入得：

$d\mathbf{t}=-J_f(\mathbf{x})d\mathbf{x}$

将 $d\mathbf{t}$ 代回 $dl$ 并利用标量的迹性质 $a=\text{tr}(a)$：

$$\begin{array}{rl}dl& =\text{tr}(dl)\\ & =\text{tr}\left(2{\mathbf{t}}^T(-J_f(\mathbf{x})d\mathbf{x})\right)\\ & =\text{tr}\left(-2{\mathbf{t}}^T{J}_f(\mathbf{x})d\mathbf{x}\right)\end{array}$$

利用矩阵转置性质与循环移位，整理为 $\text{tr}(B^{T}d\mathbf{x})$ 的标准形式：

$$\begin{array}{rl}dl& =\text{tr}\left({\left(-2J_f(\mathbf{x}{)}^T\mathbf{t}\right)}^{T}d\mathbf{x}\right)\end{array}$$

根据匹配规则 $\forall d\mathbf{x},dl=\text{tr}(B^{T}d\mathbf{x})⟹\frac{\partial l}{\partial \mathbf{x}}=B$：

${\nabla }_{\mathbf{x}}\Vert \mathbf{a}-f(\mathbf{x})\Vert {}^2=-2J_f(\mathbf{x}{)}^T\mathbf{t}$

将 $\mathbf{t}=\mathbf{a}-f(\mathbf{x})$ 还原并展开雅可比矩阵：

${\nabla }_{\mathbf{x}}\Vert \mathbf{a}-f(\mathbf{x})\Vert {}^2=2J_f(\mathbf{x}{)}^T(f(\mathbf{x})-\mathbf{a})=2{\left(\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\right)}^T(f(\mathbf{x})-\mathbf{a})$

Q.E.D.

---

向量内积 $f(\mathbf{x}{)}^{T}g(\mathbf{x})$

设标量 Loss 函数 $l(\mathbf{x})=f(\mathbf{x}{)}^{T}g(\mathbf{x})$，其中 $\mathbf{x}\in {\mathbb{R}}^n$，$f,g:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 为向量函数。

根据向量内积的微分乘积法则：

$dl=d\left(f(\mathbf{x}{)}^{T}g(\mathbf{x})\right)=(df(\mathbf{x}){)}^{T}g(\mathbf{x})+f(\mathbf{x}{)}^{T}dg(\mathbf{x})$

设 $f,g$ 关于 $\mathbf{x}$ 的雅可比矩阵分别为 $J_f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\in {\mathbb{R}}^{m\times n}$ 与 $J_g(\mathbf{x})=\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}\in {\mathbb{R}}^{m\times n}$，则：

$df(\mathbf{x})=J_f(\mathbf{x})d\mathbf{x}$

$dg(\mathbf{x})=J_g(\mathbf{x})d\mathbf{x}$

代入微分表达式：

$dl=(J_f(\mathbf{x})d\mathbf{x}{)}^{T}g(\mathbf{x})+f(\mathbf{x}{)}^T(J_g(\mathbf{x})d\mathbf{x})$

利用标量性质 $a=\text{tr}(a)$ 以及迹算子的转置与循环性质：

$$\begin{array}{rl}dl& =\text{tr}(dl)\\ & =\text{tr}\left((J_f(\mathbf{x})d\mathbf{x}{)}^{T}g(\mathbf{x})\right)+\text{tr}\left(f(\mathbf{x}{)}^T{J}_g(\mathbf{x})d\mathbf{x}\right)\\ & =\text{tr}\left(g(\mathbf{x}{)}^T{J}_f(\mathbf{x})d\mathbf{x}\right)+\text{tr}\left(f(\mathbf{x}{)}^T{J}_g(\mathbf{x})d\mathbf{x}\right)\\ & =\text{tr}\left({\left(J_f(\mathbf{x}{)}^{T}g(\mathbf{x})\right)}^{T}d\mathbf{x}\right)+\text{tr}\left({\left(J_g(\mathbf{x}{)}^{T}f(\mathbf{x})\right)}^{T}d\mathbf{x}\right)\\ & =\text{tr}\left({\left(J_f(\mathbf{x}{)}^{T}g(\mathbf{x})+J_g(\mathbf{x}{)}^{T}f(\mathbf{x})\right)}^{T}d\mathbf{x}\right)\end{array}$$

对照标准形式 $\forall d\mathbf{x},dl=\text{tr}(B^{T}d\mathbf{x})⟹{\nabla }_{\mathbf{x}}l=B$：

${\nabla }_{\mathbf{x}}\left(f(\mathbf{x}{)}^{T}g(\mathbf{x})\right)=J_f(\mathbf{x}{)}^{T}g(\mathbf{x})+J_g(\mathbf{x}{)}^{T}f(\mathbf{x})={\left(\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\right)}^{T}g(\mathbf{x})+{\left(\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}\right)}^{T}f(\mathbf{x})$