知识卡片
六种损失函数各自服务谁
损失函数(又称风险函数)度量一次预测结果与真实结果之间的差异。它把”模型好不好”从一句评价变成可比较、可求导的数,是策略的核心。常用的六种各有明确的适用场景:
| 损失 | 形式 | 特点 | 服务的模型 |
|---|---|---|---|
| 0-1 | 预测对为 0,错为 1 | 直接对应错误率,但不可导、无法直接梯度优化 | 朴素贝叶斯的推导 |
| 绝对 | |Y−f(X)| | 对异常值不敏感,零点不可导 | 稳健回归 |
| 平方 | (Y−f(X))² | 可导、放大大误差,对异常值敏感 | 回归问题 |
| 指数 | e^(−Yf(X)) | 对错分样本惩罚极重,对噪声敏感 | AdaBoost |
| Hinge | max(0, 1−Yf(X)) | 间隔内正确分类不计损失,只惩罚越界与错分 | SVM |
| 对数 | −log P(Y|X) | 直接作用于概率输出,等价于极大似然 | Logistic 回归 |
选择的依据有两条。其一是输出类型:输出连续值用平方或绝对损失,输出类别用 0-1 或其凸替代,输出概率用对数损失。其二是优化性质:0-1 损失虽然最贴近业务目标(错误率),但阶梯状不可导,实践中用过 Hinge、指数、对数这些凸上界来替代,这就是”代理损失”的思路。
代价在于,每种替代都改变了优化目标,也就改变了模型的行为:平方损失被极端值牵着走,指数损失对标签噪声几乎零容忍,Hinge 只关心边界附近的样本。因此面试里问”为什么 LR 不用均方损失”,答案不在准确性,而在损失与输出假设是否匹配——平方损失假设噪声正态且输出无界,与概率输出不相容。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
我们采取的策略是为模型定义一个“损失函数”(Loss Function)(也称作“风险函数”),该损失函数可用来描述每一次预测结果与真实结果之间的差异
参考来源
- 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html)
- 结论依据:原文列出六种损失函数的表达式,并分别注明其服务的模型(贝叶斯、回归、AdaBoost、SVM、Logistic 回归)。
- 原始内容:我们采取的策略是为模型定义一个“损失函数”(Loss Function)(也称作“风险函数”),该损失函数可用来描述每一次预测结果与真实结果之间的差异