← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9830.g · 生成模型:DeepSeek-V4.1-Flash

随机森林怎么调参

理解等级:初级

RF 的参数天然分两组,调参时分开看:一组是 Bagging 的(几棵树、怎么抽样),一组是从 CART 继承的(树怎么长)。

Bagging 这组:

  • n_estimators:树的数量,默认 100。它是稳定性旋钮而非精度旋钮——增加它通常让指标单调略升然后走平,训练时间却线性增长,所以一般直接给一个较大值(200~500)而不放进网格搜索。原书提醒设得过大会有过拟合风险,实践中更常见的问题其实是收益递减和耗时。
  • max_features:每次分裂考虑的特征数,默认 None(全部)。这是 RF 最重要的旋钮:调小 → 树之间更不相关 → 集成方差更低;但太小 → 单棵树太弱 → 偏差上升。分类常用 sqrt,回归常用 0.3~0.5 倍特征数。
  • oob_score:默认 False,建议设 True,用袋外样本免费评估,见 [[袋外样本是免费的验证集]]。
  • bootstrap / max_samples:控制是否有放回抽样与子集大小,一般保持默认。

CART 这组(控制单树复杂度):

  • max_depth:最大深度,默认不限。样本多、特征多时限制到 10~100 可抑制过拟合。
  • min_samples_split(默认 2)、min_samples_leaf(默认 1):节点继续分裂所需的最小样本数、叶子的最小样本数,样本量大时都建议调大。
  • max_leaf_nodes、min_impurity_split:叶子数上限与不纯度下降阈值,特征多时用来剪枝。
  • criterion:分类 gini/entropy,回归 mse/mae,默认值通常就够。
  • class_weight:类别不平衡时设 balanced,让少数类权重变高。

一个可执行的顺序:先固定 n_estimators=300、oob_score=True,只网格搜索 max_features;再用 max_depth 或 min_samples_leaf 压复杂度;最后视正负样本比例决定 class_weight。n_jobs=-1 用满 CPU 核,RF 的树彼此独立,加速几乎线性。

训练完常用三个属性做诊断:oob_score_(泛化粗估)、feature_importances_(特征排序)、estimators_(取出单棵树检查)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文按"Bagging 参数 + CART 参数"两组列出 n_estimators、oob_score、max_features、max_depth、min_samples_leaf、class_weight 等的作用与默认值。 - 原始内容:n_estimators:基学习器的最大迭代次数,即基学习器的个数……max_features:划分时考虑的最大特征数,可选 None、log2、sqrt、auto,默认是None,意味着划分时考虑所有的特征数。