知识卡片
指数损失对噪声更敏感
分类的损失函数都是边际 y f(x) 的函数:正确时边际为正、损失应小,错误时为负、损失应大。0—1 损失在边际为负时恒为 1、为正时恒为 0,是最终目标但不连续、不可优化,所以实际用它的光滑替代。指数损失 exp(-y f) 与负二项对数似然 log(1+exp(-2y f)) 都单调递减,但尾部行为不同:负边际绝对值变大时,对数似然线性增长,指数损失指数增长,因此指数损失对那些“错得很离谱”的样本惩罚极重。数据噪声大时,少数标签错误或异常点会主导训练,对数似然损失更稳健。平方损失 (y-f)²=1-2y f+(y f)² 在边际很大的正确样本上仍给出较大惩罚,作为 0—1 损失的近似并不合适,尽管它在回归中是标准选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
当负边际的绝对值逐渐增大时,负值的二项分布对数似然函数损失线性增长,但是指数损失呈指数增长,也就是说,指数损失对训练集中这样的点影响更大。当数据集噪音较大时,负值的二项分布对数似然函数损失比指数损失更稳健(Hastie et al.,2008)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.4 分类问题的不同损失函数及LogitBoost算法)
- 结论依据:原文比较指数损失、负二项对数似然与 0—1 损失、平方损失的图形与尾部行为,指出噪声大时对数似然更稳健、平方损失不适合作分类的近似。
- 原始内容:当负边际的绝对值逐渐增大时,负值的二项分布对数似然函数损失线性增长,但是指数损失呈指数增长,也就是说,指数损失对训练集中这样的点影响更大。当数据集噪音较大时,负值的二项分布对数似然函数损失比指数损失更稳健(Hastie et al.,2008)。