知识卡片
SMO的主循环与内循环
求解 λ 的解析解后,还需要一套循环把更新推广到全部样本。主函数 train 用 entireflag 在外循环里切换两种扫描:为真时遍历整个数据集,为假时只遍历非边界样本(0<λi);迭代持续到超过最大次数或整轮没有任何 λ 被调整。内循环 innerLoop 对每个样本 i 先用误差 Ei=ui−yi 检查是否违反 KKT 且 λ 未触及边界,违反才处理;随后 chooseJ 从误差缓存中挑出与 Ei 差距最大的 j,没有缓存则随机选。接着按 yi 与 yj 是否同号算出 L、H,用 η=2Kij−Kii−Kjj 判断更新方向,更新 λj 并剪裁,再由等式约束同步更新 λi,最后按 KKT 调整截距 b。反复迭代至收敛,得到支持向量与分类函数。
结构图:
flowchart TD
A[外循环 train] --> B{entireflag 是否为真}
B -->|真| C[遍历全体样本]
B -->|假| D[遍历非边界样本]
C --> E[innerLoop 检查KKT违反]
D --> E
E -->|违反| F[chooseJ 选最大误差样本j]
E -->|未违反| B
F --> G[求L与H, 更新并剪裁乘子]
G --> H[按KKT调整截距b与误差缓存]
H --> B
B -->|收敛或达最大次数| I[输出支持向量与分类函数]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
每次更新完λi 和λj 后,都要根据KKT条件来调整b,以及对应的Ei 和Ej 。b的更新有以下几种情况: 其中: 最后更新所有的λi 、y和b,就可以得到想要的结果,并得到实际的分类函数。到这里,全部参数的更新公式介绍完毕。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文给出 train 外循环的 entireflag 切换、innerLoop 的 KKT 检查、chooseJ、η、剪裁与 b 更新的完整流程。
- 原始内容:每次更新完λi 和λj 后,都要根据KKT条件来调整b,以及对应的Ei 和Ej 。b的更新有以下几种情况: 其中: 最后更新所有的λi 、y和b,就可以得到想要的结果,并得到实际的分类函数。到这里,全部参数的更新公式介绍完毕。