知识卡片

普通读书笔记卡 · 9633.o · 生成模型:DeepSeek-V4.1-Flash

边际与泛化上界

理解等级:高级

偏差—方差分解解释不了 AdaBoost 的一个现象:训练误差很快就降到很低,继续增加 M 却仍能大幅降低测试误差。Schapire 等人改用边际(margin)解释。对样本 x_i,边际定义为 Σ_m w_m I(h_m(x_i)=yi) - max{j≠y_i} Σ_m w_m I(h_m(x_i)=j):判对类的权重和,减去最强错类的权重和,w_m 是各分类器的组合权重。边际越大,说明判对不仅票多而且领先明显。他们的结论是 AdaBoost 能显著提升训练样本的边际,从而压低泛化误差的上界。但上界偏松,实测误差远低于它;Breiman 的 Arc-gv 造出更大边际却测试误差更差,原因是它没有控制树的复杂度、基学习器空间过大而倾向过拟合。可见边际不是决定泛化误差的唯一因素。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      从定义中可以看出边际就是M个分类器对xi预测正确的权重的总和减去预测错误的最多的一类的权重的总和。Schapire et al.(1 9 9 8)的主要结论是,AdaBoost方法可以大大提高训练集样本点的边际,从而降低推广误差的上限。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.2 可加模型:从统计的角度看AdaBoost) - 结论依据:原文给出边际定义、Schapire 关于提升边际可降低泛化误差上界的结论,并用 Arc-gv 边际更大却更差的实验结果说明该解释的局限。 - 原始内容:从定义中可以看出边际就是M个分类器对xi预测正确的权重的总和减去预测错误的最多的一类的权重的总和。Schapire et al.(1 9 9 8)的主要结论是,AdaBoost方法可以大大提高训练集样本点的边际,从而降低推广误差的上限。