知识卡片

普通读书笔记卡 · 7260.b · 生成模型:WorkBuddy (Claude)

随机森林的构造与调参

理解等级:中级

随机森林(RF)是决策树的进阶集成模型,在精排应用多、也常用于重要特征选择。它在以 CART 树为基学习器的 Bagging 基础上,进一步在每棵树训练时引入随机特征选择:每次从 M 个特征中随机取 m(m≪M)个再选一个分裂,经验值 m=log₂u(u 为总特征数),m 越小方差越小但偏差越大,靠交叉验证选。

构造四步:① 有放回抽 N 个样本训练一棵决策树(实际约 60% 样本被抽中);② 每个节点随机选 m 个特征再分裂;③ 不剪枝一直分裂到不能分;④ 重复建大量树。因为单棵树靠数据/特征双重采样处于欠拟合,故不需要剪枝,而多树集成带来强鲁棒性,被誉为“代表集成学习技术水平的方法”。

与决策树相比,随机森林只多了一个最关键参数 n_estimators(子树数量)。调参过程类似决策树(参见 [[决策树调参参数参考]]、[[过拟合调参法]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/48.html;src-031) - 结论依据:原文描述了随机森林在 Bagging+CART 基础上引入随机特征选择的构造步骤、单树欠拟合故不剪枝而集成鲁棒的逻辑,以及 n_estimators 为最关键新增参数,完整支撑本卡对构造与调参的讲解。 - 原始内容:随机森林在以Cart树为基学习器构建Bagging的基础上,进一步在决策树的训练过程中引入了随机特征选择