知识卡片
拉格朗日乘子法
最大间隔的最优问题写成最小化 ½‖w‖²、约束 y(w^T x+b)≥1。这里把最大化间隔换成最小化 ½‖w‖²:加平方与 ½ 系数是为了求导方便,同时消掉范数的开方。由于范数与平方都是凸函数,这是一个凸优化问题,局部最优即全局最优。带不等式约束的二次规划可用拉格朗日乘子法求解:构造拉格朗日函数 L(w,b,λ)=½‖w‖²−Σλi[yi(w^T xi+b)−1],其中 λi≥0 是对应第 i 个样本约束的乘子。通过拉格朗日对偶变换,可转为求对偶变量 λ 的问题,再利用特殊子结构找到更高效的求解途径。这样,原来关于 w、b 的难题就转化为对 λ 的求解,为后面的对偶推导铺路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
由于原函数变为一个二次规划问题,并有特殊的子结构,求解这个二次规划问题可以使用拉格朗日乘子法。并通过拉格朗日对偶变换得到对偶变量λ的解,可以找到更加有效的方法来求解:
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文给出最小化 ½‖w‖²、凸优化判断、拉格朗日函数构造与对偶变换动机,支撑把 w、b 难题转为求 λ 的解释。
- 原始内容:由于原函数变为一个二次规划问题,并有特殊的子结构,求解这个二次规划问题可以使用拉格朗日乘子法。并通过拉格朗日对偶变换得到对偶变量λ的解,可以找到更加有效的方法来求解: