← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.l · 生成模型:DeepSeek-V4.1-Flash

每轮拟合加权错分率最小的树

理解等级:中级

每轮抽样的分布等价于给样本加权重:被抽中概率高的样本,在拟合时分量更重。因此第 m 轮的任务可以表述为——在当前权重下,寻找加权错分率 ε_m 最小的基分类器 h_m,其中 ε_m 是 h_m 判错样本的权重之和占全部权重的比例。这个分类器的发言权由 α_m=½ln((1-ε_m)/ε_m) 决定:ε_m 越小,α_m 越大;ε_m=0.5 时 α_m=0,等于弃权;ε_m 接近 1 时 α_m 为负,等于反着投票。最终分类器是符号函数 sgn(Σ_m α_m h_m(x)),即加权投票而不是简单计票。可见“按表现分配话语权”和“按错误调整抽样”是同一件事的两面:前者作用于组合阶段,后者作用于训练阶段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.1 AdaBoost算法) - 结论依据:原文指出第(1)步等价于寻找使加权训练样本分类错误率最小的分类器,第(3)步以权重组合 M 棵树得到最终分类器。 - 原始内容:所以使得式(5.5)达到最小值的hm为: 这相当于寻找分类器使得对加权的训练样本点的分类错误率最小。