知识卡片

普通读书笔记卡 · 9774.b · 生成模型:DeepSeek-V4.1-Flash

逻辑回归最大化似然

理解等级:高级

线性回归最小化平方和,这在正态误差假设下等价于最大似然;但 0/1 标签的误差不可能服从正态,两者在这里不再等价,所以逻辑回归直接最大化似然。若 p 是预测为 1 的概率,单点概率可统一写成 p^y(1−p)^{1−y}:y=1 时它等于 p,y=0 时等于 1−p。假设各点独立,总似然是连乘;取对数把连乘变求和,再取负号,就得到梯度下降要最小化的负对数似然(即对数损失)。这种损失的形状很关键:预测正确且自信时几乎为零,预测错误且自信时急剧增大,因此它专门惩罚“错得很自信”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第16章 逻辑回归 · 查看原书依据

      也会使似然最大,反之亦然。由于梯度下降用于寻找最小化解,因此我们实际上是使负对数似然最小化,因为使似然最大化与将其负值最小化等价:

    参考来源

    - 位置:《数据科学入门(第2版)》第16章 逻辑回归(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0020.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「也会使似然最大,反之亦然……」 - 原始内容:也会使似然最大,反之亦然。由于梯度下降用于寻找最小化解,因此我们实际上是使负对数似然最小化,因为使似然最大化与将其负值最小化等价: