几何投影、拉格朗日乘子与 KKT 约束优化

共同的几何核心是:在最优点,目标函数的下降方向不能落在可行方向里。

• 先会把向量分成平行和垂直两部分:正交投影。
• 约束曲面的法向是约束的梯度,极值点上目标的梯度也只能沿法向:拉格朗日乘子。
• 约束变成不等式,多出符号和互补松弛:KKT 条件。
• 变化方向换成函数,就是变分法:Euler–Lagrange 方程。

相关:多元微积分与向量分析、矩阵、特征值与数论、变分法、最速降线与最小作用量。