← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9822.j · 生成模型:DeepSeek-V4.1-Flash

六种损失函数各自服务谁

理解等级:中级

损失函数(又称风险函数)度量一次预测结果与真实结果之间的差异。它把”模型好不好”从一句评价变成可比较、可求导的数,是策略的核心。常用的六种各有明确的适用场景:

损失 形式 特点 服务的模型
0-1 预测对为 0,错为 1 直接对应错误率,但不可导、无法直接梯度优化 朴素贝叶斯的推导
绝对 |Y−f(X)| 对异常值不敏感,零点不可导 稳健回归
平方 (Y−f(X))² 可导、放大大误差,对异常值敏感 回归问题
指数 e^(−Yf(X)) 对错分样本惩罚极重,对噪声敏感 AdaBoost
Hinge max(0, 1−Yf(X)) 间隔内正确分类不计损失,只惩罚越界与错分 SVM
对数 −log P(Y|X) 直接作用于概率输出,等价于极大似然 Logistic 回归

选择的依据有两条。其一是输出类型:输出连续值用平方或绝对损失,输出类别用 0-1 或其凸替代,输出概率用对数损失。其二是优化性质:0-1 损失虽然最贴近业务目标(错误率),但阶梯状不可导,实践中用过 Hinge、指数、对数这些凸上界来替代,这就是”代理损失”的思路。

代价在于,每种替代都改变了优化目标,也就改变了模型的行为:平方损失被极端值牵着走,指数损失对标签噪声几乎零容忍,Hinge 只关心边界附近的样本。因此面试里问”为什么 LR 不用均方损失”,答案不在准确性,而在损失与输出假设是否匹配——平方损失假设噪声正态且输出无界,与概率输出不相容。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html) - 结论依据:原文列出六种损失函数的表达式,并分别注明其服务的模型(贝叶斯、回归、AdaBoost、SVM、Logistic 回归)。 - 原始内容:我们采取的策略是为模型定义一个“损失函数”(Loss Function)(也称作“风险函数”),该损失函数可用来描述每一次预测结果与真实结果之间的差异