知识卡片
合页损失与正则化视角
把软间隔问题整体乘以 1/C 再整理,可写成 min ∑[1−y_i f(xi)]+ + (1/C)‖ω‖²/2,其中 [z]_+=max(z,0) 表示正部。这正是损失函数加罚的结构:合页损失(hinge loss,原文译作绞索损失)在 y f>1 时为 0,否则随违背程度线性增长;后一项惩罚模型复杂度。于是 SVM 也可以读作正则化的函数估计,而不只是几何构造。从总体角度看,合页损失的最优解对应后验概率的一种估计形式,其他损失则是对该概率做不同的线性变换。这解释了 SVM 输出为何能当作置信度使用,也把它与 Logistic 回归放进同一框架。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 支持向量机 · 查看原书依据
式中的+号表示正部,这是我们熟悉的损失函数加罚的形式。L(y, f)=[1-yf]+称为绞索损失,对于二分类问题是非常合理的损失
参考来源
- 位置:《大数据挖掘与统计机器学习》第7章 支持向量机(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter9_0003.xhtml,7.3 一些拓展)
- 结论依据:原文指出软间隔问题等价于损失加罚形式,定义绞索损失,并说明其最优估计是一种后验概率形式的估计。
- 原始内容:式中的+号表示正部,这是我们熟悉的损失函数加罚的形式。L(y, f)=[1-yf]+称为绞索损失,对于二分类问题是非常合理的损失