考虑含 个变量、 个等式约束的优化问题:

其中 为目标函数,()为第 个等式约束。

将变量与约束函数写成向量形式:

原问题简写为:

设 是一个局部约束极值点, 与 在 的某个邻域内连续可微,且满足正则性条件:约束函数的梯度在 处线性无关。


1. 等式约束极值的一阶必要条件

定理(等式约束极值的一阶必要条件)

设 是等式约束问题 的局部极值点, 与 在 的某个邻域内连续可微,且约束梯度 线性无关(即雅可比矩阵 行满秩)。则存在唯一的拉格朗日乘子向量 ,使得:

在约束极值点处,目标函数的梯度可以表示为各约束函数梯度的线性组合,组合系数 即为拉格朗日乘子。


2. 构造拉格朗日函数与方程组求解

为了将一阶必要条件 与原约束 统一为无约束形式的驻点方程组,定义拉格朗日函数(Lagrangian) :

2.3. 一般形式的完整方程组

将 与 联立,得到含 个未知数 与 个方程的非线性方程组:

按分量展开即为:

方程组的解 给出约束优化的极值候选点(驻点)。具体是极大值、极小值还是鞍点,需进一步借助二阶充分条件(如切空间上的投影海森矩阵正定性)或问题本身的凸性/紧性加以判定。

3. 总结

3.1. 完整推导逻辑链

---
config:
  layout: elk
  elk:
    lineHops: true
  flowchart:
    curve: stepAfter
---
flowchart TD
    A["等式约束 $$g(x) = c$$"] -->|"沿可行曲线 $$x(t)$$ 求导"| B["切空间条件:$$Dg(x^*)d = 0$$<br/>$$d \in \operatorname{Null}(Dg(x^*))$$"]
    C["极值点一阶条件 $$\left.\frac{\mathrm{d}}{\mathrm{d}t}f(x(t))\right|_{t=0} = 0$$"] -->|"链式法则"| D["正交条件:$$\nabla f(x^*)^\top d = 0$$<br/>$$\nabla f(x^*) \perp \operatorname{Null}(Dg(x^*))$$"]
    B --> E["正交补引理:$$\operatorname{Null}(A)^\perp = \operatorname{Range}(A^\top)$$"]
    D --> E
    E --> F["乘子条件:$$\nabla f(x^*) = Dg(x^*)^\top\lambda$$"]
    F --> G["拉格朗日函数:$$L(x, \lambda) = f(x) - \lambda^\top(g(x) - c)$$"]
    G --> H["驻点方程组:$$\nabla_x L = 0,\ \nabla_\lambda L = 0$$"]