← 返回刚才阅读的位置

知识卡片

结构图卡 · 9633.u · 生成模型:DeepSeek-V4.1-Flash

随机森林随机选变量降相关

理解等级:中级

随机森林由 Breiman 于 2001 年提出,骨架与 Bagging 相同:对训练集做 B 次自助采样,各建一棵树,最后投票或平均。关键改动在节点分裂:每次分裂前,先从全部 p 个变量中随机抽 m 个(m≤p),只在这 m 个里挑最优分枝变量。这样不同树用到的变量集合不同,树与树之间不容易长得像,相关性被压低。流程为:抽自助样本 Z*→建树 H_b→每个节点随机取 m 个变量、选最优切分、分成两个子节点→直到节点样本数低于 n_min。分类默认 m≈√p、节点最小样本 1;回归默认 m≈p/3、节点最小样本 5。它同样可用袋外样本估误差,也能算变量重要性;还给出邻近(proximity)矩阵——两个袋外样本落在同一终端叶节点的频率,可降维画成二维邻近图看样本聚集。

结构图:

flowchart TD
  A["训练集"] --> B["B 次 Bootstrap"]
  B --> C["每节点随机抽 m 个变量"]
  C --> D["在 m 个中选最优切分"]
  D --> E["长成树 H_b"]
  E --> F["投票或平均"]
  E --> G["邻近矩阵"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      为解决这一问题,随机森林算法在构造单棵树时,随机选取全部p 个随机变量中的m个(m≤p)。这样,随机森林算法就可以降低树与树之间的相关系数,同时尽可能地控制平均方差。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0004.xhtml,5.4.1 基本算法) - 结论依据:原文说明随机森林在建树时从全部 p 个变量中随机取 m 个再选最佳分枝,以降低树间相关性,并给出分类/回归默认 m、袋外估计与邻近矩阵。 - 原始内容:为解决这一问题,随机森林算法在构造单棵树时,随机选取全部p 个随机变量中的m个(m≤p)。这样,随机森林算法就可以降低树与树之间的相关系数,同时尽可能地控制平均方差。