返回主题:经典算法与业务建模

知识卡片

普通读书笔记卡 · 2826.c

Boosting关注错分

理解等级:未标注

Boosting 同样训练多个决策树模型,但它是迭代进行的:每一轮都提高上一轮分错样本的权重,让后续模型更关注容易分错的数据。融合时各模型的权重也不同,最终按权重加权合成。Adaboost 和 GBDT 都采用这种思想。与 Bagging 各模型等权、可并行不同,Boosting 的各轮之间有先后依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第6章《Spark分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml) - 结论依据:原文说明Boosting也训练多个决策树模型,是一种迭代算法,训练过程中更加关注错分的样本,提高上一次分错数据的权重;集成融合时每次训练的模型权重也不一样,最终加权融合;Adaboost、GBDT采用的都是Boosting思想。 - 原始内容:在训练过程中更加关注错分的样本,对于越是容易错分的样本,后续的模型训练越要花更多精力去关注,提高上一次分错的数据权重……在集成融合时,每次训练的模型权重也会不一样,最终通过加权的方式融合成最终的模型。