知识卡片

普通读书笔记卡 · 3786.d

最小二乘支持向量机改用平方误差

理解等级:中级

最小二乘支持向量机(LSSVM)改写了 SVM 的约束和误差惩罚。下表中 yₖ=±1 是类别,φ 把输入映射到特征空间,w、b 确定分类超平面:

标准软间隔 SVM LSSVM
约束 yₖ[wᵀφ(xₖ)+b] ≥ 1−ξₖ,ξₖ≥0 yₖ[wᵀφ(xₖ)+b] = 1−eₖ
误差惩罚 c·Σξₖ(松弛量线性计) ½γ·Σeₖ²(误差平方计)

等式约束下,对拉格朗日函数的各变量求偏导置零,得到 αₖ=γeₖ 等四组条件,合并后正好是一个关于 b 和 α 的线性方程组,系数中含核矩阵(元素由核函数 K(xₖ,xₗ) 算出);解出后代入得分类或回归函数。由 αₖ=γeₖ 可见,误差不为零的样本 α 都不为零,所以所有训练点都成为支持向量。

“解线性方程组”不自动保证训练更快或预测更准:N 个样本要解 N+1 阶方程,效率还受核矩阵规模和数值条件影响;书中也说标准 LSSVM 精度比 SVM 稍差。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 172 项《1 7 . 3 最 小 二 乘 法 在 机 器 学 习 中 的 应 用》(源文件:`_epub-src/EPUB/xhtml/chapter17_0003.xhtml`) - 结论依据:式(17-12)为 SVM 不等式约束,式(17-13)与(17-19)为 LSSVM 等式和误差平方;式(17-15)/(17-21)的驻点条件引出线性方程组。原书后续矩阵式部分记号有排印问题,卡片不照抄矩阵元素。 - 原始内容:对于LSSVM,原问题变为等式约束……在LSSVM中,所有的训练点均为支持向量,而误差 e 是优化目标之一……接下来,和SVM类似,采用拉格朗日乘数法把原问题转化为对单一参数