← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9830 · 生成模型:DeepSeek-V4.1-Flash

集成学习只回答两个问题

理解等级:初级

集成学习(ensemble)的想法很朴素:一个人判断不准,就让一群人各判断一次,再按规则汇总。它的目标不是训练一个更强的模型,而是把若干个”个体学习器”(基学习器)拼成一个强学习器,博采众长。

所有集成方法的设计差异,都能归结为两个决策:

第一,基学习器从哪来?

  • 同质还是异质:全都用决策树(同质),还是决策树 + 逻辑回归混搭(异质)。同质的好处是只需调一种模型、便于并行。
  • 彼此有没有强关联:各基学习器独立训练(可并行),还是一个接一个地修正前一个的错误(必须串行)。

第二,怎么把它们合起来?

  • 均等投票:一人一票,分类取众数、回归取平均。
  • 加权投票:按各自的可信度分配票权。权重要么靠额外数据学出来,要么靠验证集估,引入新的过拟合风险。

沿着这两条轴走,就分出两大流派:Bagging 取”同类别、彼此无强关联、均等投票”这一组选择,代表是随机森林;Boosting 取”串行、后者修正前者”这一组选择,代表是 GBDT 一类模型。

为什么”无强关联”这么关键?因为投票的价值来自分歧:如果所有人看到的是同一份数据、犯同样的错,投票只是把同一个错误重复 T 次,一分钱信息都没增加。所以 Bagging 一族的所有技巧——有放回抽样、特征随机——本质都在做同一件事:人为制造差异。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文开篇把集成学习的核心问题拆为"如何得到若干基学习器"与"以什么策略结合",并据此区分 Bagging 与 Boosting 两类方式。 - 原始内容:集成学习的核心思想是将若干个个体学习器以一定策略结合起来,最终形成一个强学习器,以达到博采众长的目的。所以,集成学习需要解决的核心问题主要有两点:(1)如何得到若干个个体基学习器,(2)以什么策略把这些个体基学习器结合起来。