知识卡片
对数损失惩罚自信错误
二分类对数损失取真实标签对应概率的负对数。正例预测 p=0.99 损失约 0.01,p=0.01 则约 4.61。对线性分数 u 可写成 log(1+exp(u))−yu,其对 u 的曲率为 σ(u)[1−σ(u)]≥0,因而对线性参数也凸。直接把 Sigmoid 输出放入平方损失一般没有这一性质。
可参照[[最大似然比较参数]]。二分类对数损失来自最大化伯努利似然。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 搞懂算法:逻辑回归是怎么回事 · 查看原书依据
当f (x)趋近0时,损失函数表达式的数值趋近+∞,也非常符合要求。
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第8章《搞懂算法:逻辑回归是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter008.xhtml)
- 结论依据:原书分别考察真实标签为 1 和 0 时预测逼近两端的损失行为。
- 原始内容:当f (x)趋近0时,损失函数表达式的数值趋近+∞,也非常符合要求。