知识卡片

问题卡 · 9633.s · 生成模型:DeepSeek-V4.1-Flash

迭代次数与学习率收缩

理解等级:高级

问题:Boosting 迭代次数 M 如何定,为什么它会过拟合?分析:早期观察是 AdaBoost 似乎免疫过拟合——训练误差早已降到 0,继续加到上千轮测试误差还在降;后来的研究表明过拟合确实存在,只是发生得慢。M 因此是关键参数,可用交叉验证选择,也可依据优化理论给出的准则。方案:一是收缩,把每轮的贡献乘以学习率 v,fm=f{m-1}+v·h_m,v 控制提升速度;v 小则同样 M 下训练误差较大,但取 v 并配合提前停止,往往得到更低的测试误差。二是控制基学习器复杂度:树越深,需要的 M 越小;多数人偏好极简的树桩,它方差低、只有主效应,Boosting 正好补它的偏差,且 K 个叶节点最多表达 K-1 阶交互。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      乘子v 可以看成是用来控制提升过程的学习率,较小的v使得M取值相同时,训练集有较大的误差,但是实验结果表明,取较小的v(v<0.1)并适当提前停止(early stopping)M可以更有效地降低测试集的误差。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.6 讨论) - 结论依据:原文讨论 Boosting 是否过拟合、M 的确定方法,说明收缩乘子 v 的作用与 v<0.1 加提前停止的经验,以及简单树、树桩与交互阶数的关系。 - 原始内容:乘子v 可以看成是用来控制提升过程的学习率,较小的v使得M取值相同时,训练集有较大的误差,但是实验结果表明,取较小的v(v<0.1)并适当提前停止(early stopping)M可以更有效地降低测试集的误差。