← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.q · 生成模型:DeepSeek-V4.1-Flash

指数损失对噪声更敏感

理解等级:高级

分类的损失函数都是边际 y f(x) 的函数:正确时边际为正、损失应小,错误时为负、损失应大。0—1 损失在边际为负时恒为 1、为正时恒为 0,是最终目标但不连续、不可优化,所以实际用它的光滑替代。指数损失 exp(-y f) 与负二项对数似然 log(1+exp(-2y f)) 都单调递减,但尾部行为不同:负边际绝对值变大时,对数似然线性增长,指数损失指数增长,因此指数损失对那些“错得很离谱”的样本惩罚极重。数据噪声大时,少数标签错误或异常点会主导训练,对数似然损失更稳健。平方损失 (y-f)²=1-2y f+(y f)² 在边际很大的正确样本上仍给出较大惩罚,作为 0—1 损失的近似并不合适,尽管它在回归中是标准选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      当负边际的绝对值逐渐增大时,负值的二项分布对数似然函数损失线性增长,但是指数损失呈指数增长,也就是说,指数损失对训练集中这样的点影响更大。当数据集噪音较大时,负值的二项分布对数似然函数损失比指数损失更稳健(Hastie et al.,2008)。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.4 分类问题的不同损失函数及LogitBoost算法) - 结论依据:原文比较指数损失、负二项对数似然与 0—1 损失、平方损失的图形与尾部行为,指出噪声大时对数似然更稳健、平方损失不适合作分类的近似。 - 原始内容:当负边际的绝对值逐渐增大时,负值的二项分布对数似然函数损失线性增长,但是指数损失呈指数增长,也就是说,指数损失对训练集中这样的点影响更大。当数据集噪音较大时,负值的二项分布对数似然函数损失比指数损失更稳健(Hastie et al.,2008)。