知识卡片
对数几率:线性部分拟合的是什么
把正例概率记作 p,则正例与反例的可能性之比
odds = p / (1 − p)
称为”几率”(odds)。p=0.5 时 odds=1,p=0.9 时 odds=9,p→1 时 odds→∞。几率把 (0,1) 拉到 (0,+∞),但右半边仍然无界、左半边被卡在 0,不够对称。再取一次对数:
logit(p) = log( p / (1 − p) )
取值范围就变成整条实数轴,与 w·x + b 的定义域正好对上。代入 σ 可验证 logit(σ(z)) = z,即
log( p / (1 − p) ) = w·x + b
这句话是理解 Logistic 回归的关键:线性部分拟合的不是概率,而是对数几率。也正因为此,它被称为”对数几率回归”——中文教材常译作”对数概率回归”。
这个视角带来两个实用推论:
- 权重可解释为几率倍数。其他特征不变时,w_j 增加 1,对数几率增加 w_j,几率乘以 e^{w_j}。比如 w=0.69 对应 odds 变为约 2 倍。做业务解释时这比”概率涨了多少”更稳定,因为概率的变化量依赖于起点 p。
- 为什么不能直接把 z 当概率。z 无界,概率有界;logit 这条”拉伸”恰好把有界量映射到无界量,模型才有办法用线性函数去拟合它。若强行令 p = w·x + b,两端会给出负数或大于 1 的”概率”,且误差结构完全错位。
注意 logit 在 p=0 或 p=1 处发散,所以模型永远只能逼近而不能真正输出 0/1;完美可分的数据会让权重一路增大、不收敛,这也是实践中要加正则化的原因之一(见 [[L1与L2正则]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
由此可知,Logistic回归的本质其实就是用线性回归的预测结果w·xi +b去逼近真实标记的对数概率
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文定义正反例可能性之比为"概率"、取对数得"对数概率",并指出该结果正好等于线性回归预测值 w·xi+b,因此逻辑回归本质是用线性输出逼近真实标记的对数概率。
- 原始内容:由此可知,Logistic回归的本质其实就是用线性回归的预测结果w·xi+b去逼近真实标记的对数概率