知识卡片
随机森林的两层随机
随机森林(Random Forest, RF)= Bagging + CART + 多一层特征随机。它的”随机”有两处,面试常问:
- 样本随机:每棵树用一份有放回抽样(bootstrap)得到的大小为 N 的子集训练。树与树看到的样本不同。
- 特征随机:每次分裂节点时,不从全部 M 个特征里挑最优,而是先随机抽一小批(m 个)候选,只在这 m 个里选最好的那个。分类常用 m≈√M,回归常用 m≈M/3。实现上这个抽样是每个节点重新做一次,不同节点、不同树的候选集都不一样。
为什么非要第二层?假设数据里有一个极强的特征,只做样本随机会怎样:每棵树的顶层分裂几乎都会选它,往下的结构也大同小异,几十棵树长得像同一个模子刻的——相关系数 ρ 接近 1,按上一张卡的公式,平均后方差几乎不降。特征随机强迫不同的树在不同的特征子空间里做决策,把 ρ 压下来,这才是 RF 比朴素 Bagging 更强的原因。
预测时的规则取决于任务:分类用 CART 分类树,取票数最多的类别;回归用 CART 回归树,取所有树预测值的均值。
副产品:各棵树互不依赖,训练可完全并行;单棵树只看部分特征,高维数据也能高效训练;CART 对缺失值不敏感,RF 也就继承了这一点。代价是每棵树都比全特征树弱(偏差略升,靠数量补回来)、模型体积大、无法像单棵树那样画出来解释,且在噪声大的数据上仍可能过拟合。
结构图:
flowchart TD
A[训练集] --> B[有放回抽 N 个样本]
B --> C[节点分裂前随机抽 m 个特征]
C --> D[在 m 个特征中选最优划分]
D --> E{树长完?}
E -->|否| C
E -->|是| F[得到一棵 CART 树]
F --> G{已长 T 棵?}
G -->|否| B
G -->|是| H[分类投票 回归取均值]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.2 随机森林 · 查看原书依据
每次训练基学习器时,除对样本随机采样外,对样本的特征也进行随机采样
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文指出 RF 默认用 CART 作基学习器,在 Bagging 的样本随机之外再对特征随机采样,并分别说明分类投票与回归取均值的汇总方式。
- 原始内容:RF默认采用CART作为基学习器,而且它在Bagging模型的基础上再进一步,每次训练基学习器时,除对样本随机采样外,对样本的特征也进行随机采样