← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9631.i · 生成模型:DeepSeek-V4.1-Flash

最大似然靠迭代加权求解

理解等级:高级

Logistic 回归用最大似然估计。单个观测的似然为 p(xi)^yi·[1−p(xi)]^(1−yi),全部相乘再取对数得对数似然 ℓ(β),对 β 求一阶导并令其为 0,得到 p+1 个方程(β 含截距,xi 第一个分量为 1)。这些方程关于 β 非线性,没有闭式解;其中对应截距的那个方程意味着“预测为 1 的概率之和等于实际为 1 的样本数”。求解用 Newton-Raphson:β_new=β_old−H⁻¹g,g 是梯度、H 是二阶导矩阵。整理后每一步等价于用权重矩阵 W(元素与 p(1−p) 有关)和调整因变量 z 做一次加权最小二乘,故称迭代加权最小二乘 IRLS。对数似然为凹函数,迭代收敛;估计量具有一致性、渐近有效性与渐近正态性,可据此做检验和区间估计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性分类方法 · 查看原书依据

      因为对数似然函数是一个凹函数,所以这个算法是收敛的,这样我们就会得到β的估计值。需要注意的一点是,Logistic回归的最大似然估计具有一致性(consistency)、渐近有效性(asymptotically efficiency)和渐近正态性(asymptotically normal)。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0002.xhtml,3.2.2 估计和检验) - 结论依据:原文给出对数似然与一阶条件,指出方程非线性、用 Newton-Raphson 迭代,说明每步等价于加权最小二乘即 IRLS,并因对数似然为凹函数而收敛,最后列出三项渐近性质。 - 原始内容:因为对数似然函数是一个凹函数,所以这个算法是收敛的,这样我们就会得到β的估计值。需要注意的一点是,Logistic回归的最大似然估计具有一致性(consistency)、渐近有效性(asymptotically efficiency)和渐近正态性(asymptotically normal)。