← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9447.f · 生成模型:Tencent Hunyuan Hy

SMO算法求解SVM

理解等级:中级

对偶问题求解分三步:先分别求 w、b 的偏导并令其为零,代回消去 w、b,得到只含 α 的对偶问题;再单独求 α;最后由 α 反解 w、b 得到超平面。而对 α 的优化由SMO算法完成。SMO由普拉特于1996年提出,核心思想类似动态规划的启发式:把一个大优化问题拆成多个易解的小问题,顺序求解的结果与整体求解完全一致,且求解时间短。每轮选择一对 αi、αj(须在间隔边界之外、尚未区间化或不在边界上),固定其余变量,求解并更新这两个变量,循环至收敛。边界是它仍受核矩阵存储限制,难以扩展到超大规模。反例是只更新一个 α 会违背约束,故必须成对更新。可迁移的启发是:面对难解的整体问题,拆成可解的小子问题并迭代逼近,往往事半功倍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 求解支持向量机 8.2.4 SMO算法 · 查看原书依据

      SMO算法的核心思想与动态规划相似,是一种启发式算法。它将一个大优化问题分解为多个小优化问题来求解,这些小优化问题通常很容易求解,并且对它们进行顺序求解的结果与将它们作为整体求解的结果完全一致。使用SMO算法的好处在于求解时间较短。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第8章《求解支持向量机》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00013.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明SMO把大优化问题分解为多个小优化问题、顺序求解结果与整体一致且时间短,支撑了“SMO是高效求解对偶问题的启发式方法”的结论。 - 原始内容:SMO算法的核心思想与动态规划相似,是一种启发式算法。它将一个大优化问题分解为多个小优化问题来求解,这些小优化问题通常很容易求解,并且对它们进行顺序求解的结果与将它们作为整体求解的结果完全一致。使用SMO算法的好处在于求解时间较短。