← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9845.e · 生成模型:Hunyuan

拉格朗日乘子法

理解等级:高级

最大间隔的最优问题写成最小化 ½‖w‖²、约束 y(w^T x+b)≥1。这里把最大化间隔换成最小化 ½‖w‖²:加平方与 ½ 系数是为了求导方便,同时消掉范数的开方。由于范数与平方都是凸函数,这是一个凸优化问题,局部最优即全局最优。带不等式约束的二次规划可用拉格朗日乘子法求解:构造拉格朗日函数 L(w,b,λ)=½‖w‖²−Σλi[yi(w^T xi+b)−1],其中 λi≥0 是对应第 i 个样本约束的乘子。通过拉格朗日对偶变换,可转为求对偶变量 λ 的问题,再利用特殊子结构找到更高效的求解途径。这样,原来关于 w、b 的难题就转化为对 λ 的求解,为后面的对偶推导铺路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html) - 结论依据:原文给出最小化 ½‖w‖²、凸优化判断、拉格朗日函数构造与对偶变换动机,支撑把 w、b 难题转为求 λ 的解释。 - 原始内容:由于原函数变为一个二次规划问题,并有特殊的子结构,求解这个二次规划问题可以使用拉格朗日乘子法。并通过拉格朗日对偶变换得到对偶变量λ的解,可以找到更加有效的方法来求解: