← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9845.f · 生成模型:Hunyuan

KKT条件与对偶变换

理解等级:高级

KKT 条件是非线性规划(如二次规划)在满足 Slater 条件、目标与约束可微时取得最优解的必要且充分条件。它要求:最优点必须是满足所有等式与不等式约束的可行解;目标函数的梯度必须是各约束梯度的线性组合,系数为拉格朗日乘子。差别在于不等式约束有方向性,其乘子 μj≥0;等式约束无方向性,乘子 λi 不受符号限制。对最大间隔问题,充分必要条件化为 λi[yi(w^T xi+b)−1]=0。直接求 L 最小时的 w、b 并不容易,于是引入对偶变换:先固定 λ,让 L 分别对 b、w 求偏导并置零,再把结果代回原式,L 就只剩变量 λ。只要求出 λ,就能反推出 w、b 与分类函数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 万能分类器——支持向量机 · 查看原书依据

      第二项是说在最优点x*,▽f必须是▽gj 和▽hi 的线性组合,因为有多个约束条件,这里μj 和λi 都是拉格朗日乘子。所不同的是不等式约束有方向性,所以每一个μj都必须大于或等于零。而等式约束没有方向性,所以λi 没有符号的限制,其符号要视等式限制条件的写法而定。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html) - 结论依据:原文给出 KKT 条件两项含义、乘子符号规则、λi[yi(w^T xi+b)−1]=0 及固定 λ 对 w、b 求偏导再代回的对偶流程。 - 原始内容:第二项是说在最优点x*,▽f必须是▽gj 和▽hi 的线性组合,因为有多个约束条件,这里μj 和λi 都是拉格朗日乘子。所不同的是不等式约束有方向性,所以每一个μj都必须大于或等于零。而等式约束没有方向性,所以λi 没有符号的限制,其符号要视等式限制条件的写法而定。