知识卡片
最大似然靠迭代加权求解
Logistic 回归用最大似然估计。单个观测的似然为 p(xi)^yi·[1−p(xi)]^(1−yi),全部相乘再取对数得对数似然 ℓ(β),对 β 求一阶导并令其为 0,得到 p+1 个方程(β 含截距,xi 第一个分量为 1)。这些方程关于 β 非线性,没有闭式解;其中对应截距的那个方程意味着“预测为 1 的概率之和等于实际为 1 的样本数”。求解用 Newton-Raphson:β_new=β_old−H⁻¹g,g 是梯度、H 是二阶导矩阵。整理后每一步等价于用权重矩阵 W(元素与 p(1−p) 有关)和调整因变量 z 做一次加权最小二乘,故称迭代加权最小二乘 IRLS。对数似然为凹函数,迭代收敛;估计量具有一致性、渐近有效性与渐近正态性,可据此做检验和区间估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
因为对数似然函数是一个凹函数,所以这个算法是收敛的,这样我们就会得到β的估计值。需要注意的一点是,Logistic回归的最大似然估计具有一致性(consistency)、渐近有效性(asymptotically efficiency)和渐近正态性(asymptotically normal)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0002.xhtml,3.2.2 估计和检验)
- 结论依据:原文给出对数似然与一阶条件,指出方程非线性、用 Newton-Raphson 迭代,说明每步等价于加权最小二乘即 IRLS,并因对数似然为凹函数而收敛,最后列出三项渐近性质。
- 原始内容:因为对数似然函数是一个凹函数,所以这个算法是收敛的,这样我们就会得到β的估计值。需要注意的一点是,Logistic回归的最大似然估计具有一致性(consistency)、渐近有效性(asymptotically efficiency)和渐近正态性(asymptotically normal)。