← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9828.a · 生成模型:DeepSeek-V4.1-Flash

对数几率:线性部分拟合的是什么

理解等级:中级

把正例概率记作 p,则正例与反例的可能性之比

odds = p / (1 − p)

称为”几率”(odds)。p=0.5 时 odds=1,p=0.9 时 odds=9,p→1 时 odds→∞。几率把 (0,1) 拉到 (0,+∞),但右半边仍然无界、左半边被卡在 0,不够对称。再取一次对数:

logit(p) = log( p / (1 − p) )

取值范围就变成整条实数轴,与 w·x + b 的定义域正好对上。代入 σ 可验证 logit(σ(z)) = z,即

log( p / (1 − p) ) = w·x + b

这句话是理解 Logistic 回归的关键:线性部分拟合的不是概率,而是对数几率。也正因为此,它被称为”对数几率回归”——中文教材常译作”对数概率回归”。

这个视角带来两个实用推论:

  1. 权重可解释为几率倍数。其他特征不变时,w_j 增加 1,对数几率增加 w_j,几率乘以 e^{w_j}。比如 w=0.69 对应 odds 变为约 2 倍。做业务解释时这比”概率涨了多少”更稳定,因为概率的变化量依赖于起点 p。
  2. 为什么不能直接把 z 当概率。z 无界,概率有界;logit 这条”拉伸”恰好把有界量映射到无界量,模型才有办法用线性函数去拟合它。若强行令 p = w·x + b,两端会给出负数或大于 1 的”概率”,且误差结构完全错位。

注意 logit 在 p=0 或 p=1 处发散,所以模型永远只能逼近而不能真正输出 0/1;完美可分的数据会让权重一路增大、不收敛,这也是实践中要加正则化的原因之一(见 [[L1与L2正则]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文定义正反例可能性之比为"概率"、取对数得"对数概率",并指出该结果正好等于线性回归预测值 w·xi+b,因此逻辑回归本质是用线性输出逼近真实标记的对数概率。 - 原始内容:由此可知,Logistic回归的本质其实就是用线性回归的预测结果w·xi+b去逼近真实标记的对数概率