知识卡片

普通读书笔记卡 · 9885.d · 生成模型:Hunyuan

KKT条件与约束优化

理解等级:高级

约束优化是在可行域内而非整个空间求f的极值,可行域内的点称作可行点;常见约束是范数约束,用来偏好较小的解。直接做法是在梯度下降后将结果投影回可行域、把梯度投影到可行域的切空间,或把约束问题参数化为无约束问题,例如单位L2范数约束可用[cosθ, sinθ]表示。KKT方法提供通用解法:用等式约束和不等式约束描述可行域,为每条约束引入乘子构造广义Lagrangian,再作为无约束问题优化;不可行点因惩罚项而不会最优,可行点范围内的最优点保持不变。不等式约束的活跃性很关键:约束不活跃时对应乘子为零,收敛点仍是驻点;活跃时由乘子把解推向边界。KKT条件是判定最优点的必要而非充分条件,包括广义Lagrangian梯度为零、约束全部满足以及互补松弛性。线性最小二乘是完整实例:无约束解可由伪逆给出最小范数解,当解超出范数界时通过关于λ的梯度上升增大惩罚,直到解满足约束且关于λ的导数为零。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 数值计算 · 查看原书依据

      为了获得关于这个想法的一些直观解释,我们可以说这个解是由不等式强加的边界,我们必须通过对应的KKT乘子影响 x 的解,或者不等式对解没有影响,我们则归零KKT乘子。

    参考来源

    - 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文引入KKT乘子与广义Lagrangian,阐明活跃约束与互补松弛性,明确KKT是必要非充分条件,并以范数约束最小二乘演示λ的调整过程。 - 原始内容:为了获得关于这个想法的一些直观解释,我们可以说这个解是由不等式强加的边界,我们必须通过对应的KKT乘子影响 x 的解,或者不等式对解没有影响,我们则归零KKT乘子。