← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9448.c · 生成模型:Tencent Hunyuan Hy

Boosting迭代机制

理解等级:中级

Boosting(自适应)是一类用迭代方式把弱分类器逐步“抬升”为强分类器的算法统称。工作循环是:先在原始数据上训练一个弱学习器,根据它的表现重新调整样本分布——分错的样本权重调高、分对的调低,让后续学习器把注意力集中在难分样本上;再用调整后的数据训练下一个弱学习器,如此反复直到达到预设数量,最后按各学习器精度赋予不同权重加权投票合成强分类器。它像放大版神经网络:弱分类器相当于不同神经元,每次传输相当于经过一层隐藏层,层层调参后汇总输出。关键特征是串行——每个新学习器都依赖上一轮的结果。适用边界:必须用精度高于50%的弱分类器;且因过度聚焦难分样本,对噪声敏感、易过拟合。迁移启发:迭代复盘时,应把资源持续投向此前做错的环节,而非平均用力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 要想模型效果好,集成算法少不了 9.2.1 Boosting是什么 · 查看原书依据

      它首先基于训练样本生成一个弱学习器,然后基于弱学习器的表现调整样本分布,即增加错误样本的权重,使其在后续受到更多关注。调整好权重的训练集后,继续生成下一个弱学习器,不断循环这个过程,直到生成一定数量的弱学习器,最后基于某种结合策略来综合这多个弱学习器的输出。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文“它首先基于训练样本生成一个弱学习器,然后基于弱学习器的表现调整样本分布,即增加错误样本的权重……最后基于某种结合策略来综合这多个弱学习器的输出”完整描述了Boosting迭代调权再聚合的机制。 - 原始内容:它首先基于训练样本生成一个弱学习器,然后基于弱学习器的表现调整样本分布,即增加错误样本的权重,使其在后续受到更多关注。调整好权重的训练集后,继续生成下一个弱学习器,不断循环这个过程,直到生成一定数量的弱学习器,最后基于某种结合策略来综合这多个弱学习器的输出。