知识卡片
最小二乘支持向量机改用平方误差
最小二乘支持向量机(LSSVM)改写了 SVM 的约束和误差惩罚。下表中 yₖ=±1 是类别,φ 把输入映射到特征空间,w、b 确定分类超平面:
| 标准软间隔 SVM | LSSVM | |
|---|---|---|
| 约束 | yₖ[wᵀφ(xₖ)+b] ≥ 1−ξₖ,ξₖ≥0 | yₖ[wᵀφ(xₖ)+b] = 1−eₖ |
| 误差惩罚 | c·Σξₖ(松弛量线性计) | ½γ·Σeₖ²(误差平方计) |
等式约束下,对拉格朗日函数的各变量求偏导置零,得到 αₖ=γeₖ 等四组条件,合并后正好是一个关于 b 和 α 的线性方程组,系数中含核矩阵(元素由核函数 K(xₖ,xₗ) 算出);解出后代入得分类或回归函数。由 αₖ=γeₖ 可见,误差不为零的样本 α 都不为零,所以所有训练点都成为支持向量。
“解线性方程组”不自动保证训练更快或预测更准:N 个样本要解 N+1 阶方程,效率还受核矩阵规模和数值条件影响;书中也说标准 LSSVM 精度比 SVM 稍差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1 7 . 3 最 小 二 乘 法 在 机 器 学 习 中 的 应 用 · 查看原书依据
接下来,和SVM类似,采用拉格朗日乘数法把原问题转化为对单一参数,也就是α的求极大值问题。
参考来源
- 位置:《智能算法导论》第 172 项《1 7 . 3 最 小 二 乘 法 在 机 器 学 习 中 的 应 用》(源文件:`_epub-src/EPUB/xhtml/chapter17_0003.xhtml`)
- 结论依据:式(17-12)为 SVM 不等式约束,式(17-13)与(17-19)为 LSSVM 等式和误差平方;式(17-15)/(17-21)的驻点条件引出线性方程组。原书后续矩阵式部分记号有排印问题,卡片不照抄矩阵元素。
- 原始内容:对于LSSVM,原问题变为等式约束……在LSSVM中,所有的训练点均为支持向量,而误差 e 是优化目标之一……接下来,和SVM类似,采用拉格朗日乘数法把原问题转化为对单一参数