← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9636.j · 生成模型:DeepSeek-V4.1-Flash

合页损失与正则化视角

理解等级:高级

把软间隔问题整体乘以 1/C 再整理,可写成 min ∑[1−y_i f(xi)]+ + (1/C)‖ω‖²/2,其中 [z]_+=max(z,0) 表示正部。这正是损失函数加罚的结构:合页损失(hinge loss,原文译作绞索损失)在 y f>1 时为 0,否则随违背程度线性增长;后一项惩罚模型复杂度。于是 SVM 也可以读作正则化的函数估计,而不只是几何构造。从总体角度看,合页损失的最优解对应后验概率的一种估计形式,其他损失则是对该概率做不同的线性变换。这解释了 SVM 输出为何能当作置信度使用,也把它与 Logistic 回归放进同一框架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第7章 支持向量机(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter9_0003.xhtml,7.3 一些拓展) - 结论依据:原文指出软间隔问题等价于损失加罚形式,定义绞索损失,并说明其最优估计是一种后验概率形式的估计。 - 原始内容:式中的+号表示正部,这是我们熟悉的损失函数加罚的形式。L(y, f)=[1-yf]+称为绞索损失,对于二分类问题是非常合理的损失