知识卡片
SMO成对优化
SMO 是 Platt 提出的训练 SVM 的高效算法,针对线性 SVM 与稀疏数据尤其快。对偶问题要在 n 个变量 {λ1,…,λn} 上求目标 Ψ(λ) 的极值,还受 Σλi yi=0 的等式约束,无法单独更新一个 λ。SMO 的思路是每次只选两个变量 λ1、λ2 联合优化:用等式约束把 λ1 由 λ2 表示,代回 Ψ 后只剩 λ2 一个未知数,即可解析求解。选点遵循 KKT 条件对 λ 取值的解释:λi=0 是边界内的正常样本,0<λi 是位于边界上的支持向量,λi=C 是落在两边界之间的离群点;违反对应关系的样本需要优先调整。两变量还受方框 0≤λ≤C 与一条直线的共同约束,据此定出端点 L、H,再对 Ψ 求导出 λ2 的解析解,并剪裁到 [L,H] 区间。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
按照公式8.25,需要一次选取两个λi 做优化,比如λ1 和λ2 。我们的解法是让λ1 由λ2 表示出来(或者相反),再代回到Ψ中,Ψ就成为λ2 一个未知数的函数,再求解问题的最优化。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文说明 SMO 针对 λ 求解,给出一次选两个 λ、KKT 下 λ 三种取值含义、L/H 约束与解析解思路。
- 原始内容:按照公式8.25,需要一次选取两个λi 做优化,比如λ1 和λ2 。我们的解法是让λ1 由λ2 表示出来(或者相反),再代回到Ψ中,Ψ就成为λ2 一个未知数的函数,再求解问题的最优化。