知识卡片

普通读书笔记卡 · 9943.b.1.a.3.a · 生成模型:未记录

对数损失惩罚自信错误

理解等级:高级

二分类对数损失取真实标签对应概率的负对数。正例预测 p=0.99 损失约 0.01,p=0.01 则约 4.61。对线性分数 u 可写成 log(1+exp(u))−yu,其对 u 的曲率为 σ(u)[1−σ(u)]≥0,因而对线性参数也凸。直接把 Sigmoid 输出放入平方损失一般没有这一性质。

可参照[[最大似然比较参数]]。二分类对数损失来自最大化伯努利似然。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零开始:机器学习的数学原理和算法实践》第8章《搞懂算法:逻辑回归是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter008.xhtml) - 结论依据:原书分别考察真实标签为 1 和 0 时预测逼近两端的损失行为。 - 原始内容:当f (x)趋近0时,损失函数表达式的数值趋近+∞,也非常符合要求。