考虑含 个变量、 个等式约束的优化问题:
其中 为目标函数,()为第 个等式约束。
将变量与约束函数写成向量形式:
原问题简写为:
设 是一个局部约束极值点, 与 在 的某个邻域内连续可微,且满足正则性条件:约束函数的梯度在 处线性无关。
1. 等式约束极值的一阶必要条件
定理(等式约束极值的一阶必要条件)
设 是等式约束问题 的局部极值点, 与 在 的某个邻域内连续可微,且约束梯度 线性无关(即雅可比矩阵 行满秩)。则存在唯一的拉格朗日乘子向量 ,使得:
在约束极值点处,目标函数的梯度可以表示为各约束函数梯度的线性组合,组合系数 即为拉格朗日乘子。
证明
1. 可行方向与切向量:
变量 的取值受限于可行集 。从极值点 出发进行微小移动时,路径必须始终保持在可行集内。设 为可行集上经过 的一条光滑曲线,满足:记曲线在 处的切向量(即移动的瞬时方向)为:
由于可行集一般是弯曲流形而非平坦子空间,沿直线 移动通常会脱离可行集,因此需要通过光滑可行曲线 在 处的导数来刻画局部可行方向。
2. 对约束条件求导:
由于沿可行曲线恒有 ,两边对 求导:由多元函数链式法则:
在 处代入 与 ,得:
其中 是约束映射 在 处的雅可比矩阵(Jacobian matrix),其第 行即为 :
从线性代数的角度看,所有可行切向量 都属于雅可比矩阵的零空间(核空间):
3. 极值点处目标函数沿可行方向的变化率:
考虑复合函数 。由于 是约束极值点,单变量函数 在 处取得局部极值,其一阶导数必为零:由链式法则展开:
联立约束条件与极值条件,对任意可行方向 均有:
几何上,这意味着在约束极值点处,目标函数的梯度与所有可行切方向正交——沿着任何满足约束的切向作无穷小移动,目标函数的一阶变化率均为零。
4. 由正交补关系导出拉格朗日乘子:
由上述结论,对任意 ,都有 ,即:利用线性代数中的基本子空间正交补定理:对任意矩阵 ,其零空间的正交补等于其转置的列空间(值域):
令 ,立即得到:
因此,必然存在向量 ,使得:
2. 构造拉格朗日函数与方程组求解
为了将一阶必要条件 与原约束 统一为无约束形式的驻点方程组,定义拉格朗日函数(Lagrangian) :
2.3. 一般形式的完整方程组
将 与 联立,得到含 个未知数 与 个方程的非线性方程组:
按分量展开即为:
方程组的解 给出约束优化的极值候选点(驻点)。具体是极大值、极小值还是鞍点,需进一步借助二阶充分条件(如切空间上的投影海森矩阵正定性)或问题本身的凸性/紧性加以判定。
推导
2.1. 对原变量 求梯度
对 关于 求梯度并令其为零:
这直接给出了极值点的一阶必要条件(目标函数梯度由约束梯度线性表出)。
2.2. 对乘子 求梯度
对 关于 求梯度并令其为零:
这恰好恢复了原问题的等式约束。
3. 总结
3.1. 完整推导逻辑链
--- config: layout: elk elk: lineHops: true flowchart: curve: stepAfter --- flowchart TD A["等式约束 $$g(x) = c$$"] -->|"沿可行曲线 $$x(t)$$ 求导"| B["切空间条件:$$Dg(x^*)d = 0$$<br/>$$d \in \operatorname{Null}(Dg(x^*))$$"] C["极值点一阶条件 $$\left.\frac{\mathrm{d}}{\mathrm{d}t}f(x(t))\right|_{t=0} = 0$$"] -->|"链式法则"| D["正交条件:$$\nabla f(x^*)^\top d = 0$$<br/>$$\nabla f(x^*) \perp \operatorname{Null}(Dg(x^*))$$"] B --> E["正交补引理:$$\operatorname{Null}(A)^\perp = \operatorname{Range}(A^\top)$$"] D --> E E --> F["乘子条件:$$\nabla f(x^*) = Dg(x^*)^\top\lambda$$"] F --> G["拉格朗日函数:$$L(x, \lambda) = f(x) - \lambda^\top(g(x) - c)$$"] G --> H["驻点方程组:$$\nabla_x L = 0,\ \nabla_\lambda L = 0$$"]