知识卡片
随机森林的构造与调参
随机森林(RF)是决策树的进阶集成模型,在精排应用多、也常用于重要特征选择。它在以 CART 树为基学习器的 Bagging 基础上,进一步在每棵树训练时引入随机特征选择:每次从 M 个特征中随机取 m(m≪M)个再选一个分裂,经验值 m=log₂u(u 为总特征数),m 越小方差越小但偏差越大,靠交叉验证选。
构造四步:① 有放回抽 N 个样本训练一棵决策树(实际约 60% 样本被抽中);② 每个节点随机选 m 个特征再分裂;③ 不剪枝一直分裂到不能分;④ 重复建大量树。因为单棵树靠数据/特征双重采样处于欠拟合,故不需要剪枝,而多树集成带来强鲁棒性,被誉为“代表集成学习技术水平的方法”。
与决策树相比,随机森林只多了一个最关键参数 n_estimators(子树数量)。调参过程类似决策树(参见 [[决策树调参参数参考]]、[[过拟合调参法]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.2 随机森林调参 · 查看原书依据
随机森林在以Cart树为基学习器构建Bagging的基础上,进一步在决策树的训练过程中引入了随机特征选择
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/48.html;src-031)
- 结论依据:原文描述了随机森林在 Bagging+CART 基础上引入随机特征选择的构造步骤、单树欠拟合故不剪枝而集成鲁棒的逻辑,以及 n_estimators 为最关键新增参数,完整支撑本卡对构造与调参的讲解。
- 原始内容:随机森林在以Cart树为基学习器构建Bagging的基础上,进一步在决策树的训练过程中引入了随机特征选择