知识卡片
集成学习只回答两个问题
集成学习(ensemble)的想法很朴素:一个人判断不准,就让一群人各判断一次,再按规则汇总。它的目标不是训练一个更强的模型,而是把若干个”个体学习器”(基学习器)拼成一个强学习器,博采众长。
所有集成方法的设计差异,都能归结为两个决策:
第一,基学习器从哪来?
- 同质还是异质:全都用决策树(同质),还是决策树 + 逻辑回归混搭(异质)。同质的好处是只需调一种模型、便于并行。
- 彼此有没有强关联:各基学习器独立训练(可并行),还是一个接一个地修正前一个的错误(必须串行)。
第二,怎么把它们合起来?
- 均等投票:一人一票,分类取众数、回归取平均。
- 加权投票:按各自的可信度分配票权。权重要么靠额外数据学出来,要么靠验证集估,引入新的过拟合风险。
沿着这两条轴走,就分出两大流派:Bagging 取”同类别、彼此无强关联、均等投票”这一组选择,代表是随机森林;Boosting 取”串行、后者修正前者”这一组选择,代表是 GBDT 一类模型。
为什么”无强关联”这么关键?因为投票的价值来自分歧:如果所有人看到的是同一份数据、犯同样的错,投票只是把同一个错误重复 T 次,一分钱信息都没增加。所以 Bagging 一族的所有技巧——有放回抽样、特征随机——本质都在做同一件事:人为制造差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 引言 · 查看原书依据
集成学习需要解决的核心问题主要有两点:(1)如何得到若干个个体基学习器,(2)以什么策略把这些个体基学习器结合起来
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文开篇把集成学习的核心问题拆为"如何得到若干基学习器"与"以什么策略结合",并据此区分 Bagging 与 Boosting 两类方式。
- 原始内容:集成学习的核心思想是将若干个个体学习器以一定策略结合起来,最终形成一个强学习器,以达到博采众长的目的。所以,集成学习需要解决的核心问题主要有两点:(1)如何得到若干个个体基学习器,(2)以什么策略把这些个体基学习器结合起来。