← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.r · 生成模型:DeepSeek-V4.1-Flash

LogitBoost改用牛顿法

理解等级:中级

把损失从指数换成负二项对数似然,用一般梯度提升得到 BinomialBoost;LogitBoost 的不同在于用牛顿法(二阶信息)代替最速下降。它维护一个加性函数 F_A(x),并由 p(x)=exp(F_A)/(exp(F_A)+exp(-F_A)) 给出属于 1 类的概率。每轮:先算权重 ω_m(i)=p_m(x_i)(1-p_m(x_i)),概率接近 0.5 的样本权重最大,因为最难判;再以 ω_m(i) 为权重,对伪响应 z_i 做加权最小二乘回归,得到 f_m(x);最后 F_A←F_A+0.5 f_m,并更新 p。组合分类器取 p 最大的一类。多分类版本对每一类维护一个 F_j,约束 Σ_j F_j=0 以消除冗余,权重改为 p_j(1-p_j),输出 arg max_j p_j(x)。由于用了二阶信息,同样的迭代次数下它通常收敛更快。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      LogitBoost 与BinomialBoost 方法唯一的不同就是,LogitBoost 方法在优化过程中使用的是牛顿方法而不是最速下降方法,具体推导过程见Friedman et al.(2000)。 以上介绍的LogitBoost算法适用于二分类问题,也可将其推广到多分类问题。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.4 分类问题的不同损失函数及LogitBoost算法) - 结论依据:原文给出 LogitBoost 的初始值、权重 p(1-p)、加权最小二乘拟合 z、F 更新与分类规则,并指出它与 BinomialBoost 的差别在于使用牛顿法,同时给出多分类推广。 - 原始内容:LogitBoost 与BinomialBoost 方法唯一的不同就是,LogitBoost 方法在优化过程中使用的是牛顿方法而不是最速下降方法,具体推导过程见Friedman et al.(2000)。 以上介绍的LogitBoost算法适用于二分类问题,也可将其推广到多分类问题。