知识库 · 文字讲解,AI 整理
KKT 条件
等式约束的版本是 拉格朗日乘子。
四个条件
考虑可微的约束优化问题
LaTeX
$$\min_x f(x)\quad\text{使得}\quad
g_i(x)\le0,\quad h_j(x)=0.$$
采用
LaTeX
$$\mathcal L(x,\lambda,\nu)
=f(x)+\sum_{i=1}^m\lambda_i g_i(x)+\sum_{j=1}^p\nu_j h_j(x).$$
在满足合适约束资格条件（如 LICQ 或 Slater 条件适用的凸优化场景）时，局部最优点满足 KKT 必要条件：
- 驻值（stationarity）
LaTeX
$$\nabla f(x^*)+\sum_i\lambda_i\nabla g_i(x^*)+
\sum_j\nu_j\nabla h_j(x^*)=0.$$
- 原始可行性（primal feasibility）
LaTeX
$$g_i(x^*)\le0,\qquad h_j(x^*)=0.$$
- 对偶可行性（dual feasibility）
LaTeX
$$\lambda_i\ge0.$$
- 互补松弛（complementary slackness）
LaTeX
$$\lambda_i g_i(x^*)=0.$$
每个不等式要么未激活（$g_i(x^*)<0$，则 $\lambda_i=0$），要么激活（$g_i(x^*)=0$，乘子可能为正，也可能恰好为零）。
重要前提：一般非凸问题中，KKT 只是满足约束资格条件时的必要条件，不自动保证全局最优；对凸目标、凸不等式与仿射等式约束，符合 KKT 的可行点才可视为全局最优。在适当资格条件下还可保证存在乘子。
一个不等式的例子
LaTeX
$$\min_x (x-2)^2,\qquad x\le1.$$
取 $g(x)=x-1$，Lagrangian 为
LaTeX
$$\mathcal L=(x-2)^2+\lambda(x-1).$$
KKT 条件给出 $2(x-2)+\lambda=0,\ x\le1,\ \lambda\ge0,\ \lambda(x-1)=0$。
若约束不激活，则 $\lambda=0$ 导致 $x=2$，不满足可行性；因此必须 $x^*=1$，相应乘子 $\lambda^*=2$。这一例子体现了边界法向量平衡未受约束的下降方向。
用到它的地方
- 讲义 几何投影、拉格朗日乘子与 KKT 约束优化
- 知识库 拉格朗日乘子
核对
这一条是文字讲解,由 AI 整理,没有可以数值核对的步骤;作者读过后才公开。