知识卡片
逻辑回归最大化似然
线性回归最小化平方和,这在正态误差假设下等价于最大似然;但 0/1 标签的误差不可能服从正态,两者在这里不再等价,所以逻辑回归直接最大化似然。若 p 是预测为 1 的概率,单点概率可统一写成 p^y(1−p)^{1−y}:y=1 时它等于 p,y=0 时等于 1−p。假设各点独立,总似然是连乘;取对数把连乘变求和,再取负号,就得到梯度下降要最小化的负对数似然(即对数损失)。这种损失的形状很关键:预测正确且自信时几乎为零,预测错误且自信时急剧增大,因此它专门惩罚“错得很自信”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 逻辑回归 · 查看原书依据
也会使似然最大,反之亦然。由于梯度下降用于寻找最小化解,因此我们实际上是使负对数似然最小化,因为使似然最大化与将其负值最小化等价:
参考来源
- 位置:《数据科学入门(第2版)》第16章 逻辑回归(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0020.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「也会使似然最大,反之亦然……」
- 原始内容:也会使似然最大,反之亦然。由于梯度下降用于寻找最小化解,因此我们实际上是使负对数似然最小化,因为使似然最大化与将其负值最小化等价: