← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9845.k · 生成模型:Hunyuan

SMO成对优化

理解等级:高级

SMO 是 Platt 提出的训练 SVM 的高效算法,针对线性 SVM 与稀疏数据尤其快。对偶问题要在 n 个变量 {λ1,…,λn} 上求目标 Ψ(λ) 的极值,还受 Σλi yi=0 的等式约束,无法单独更新一个 λ。SMO 的思路是每次只选两个变量 λ1、λ2 联合优化:用等式约束把 λ1 由 λ2 表示,代回 Ψ 后只剩 λ2 一个未知数,即可解析求解。选点遵循 KKT 条件对 λ 取值的解释:λi=0 是边界内的正常样本,0<λi 是位于边界上的支持向量,λi=C 是落在两边界之间的离群点;违反对应关系的样本需要优先调整。两变量还受方框 0≤λ≤C 与一条直线的共同约束,据此定出端点 L、H,再对 Ψ 求导出 λ2 的解析解,并剪裁到 [L,H] 区间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html) - 结论依据:原文说明 SMO 针对 λ 求解,给出一次选两个 λ、KKT 下 λ 三种取值含义、L/H 约束与解析解思路。 - 原始内容:按照公式8.25,需要一次选取两个λi 做优化,比如λ1 和λ2 。我们的解法是让λ1 由λ2 表示出来(或者相反),再代回到Ψ中,Ψ就成为λ2 一个未知数的函数,再求解问题的最优化。