知识卡片
随机森林怎么调参
RF 的参数天然分两组,调参时分开看:一组是 Bagging 的(几棵树、怎么抽样),一组是从 CART 继承的(树怎么长)。
Bagging 这组:
n_estimators:树的数量,默认 100。它是稳定性旋钮而非精度旋钮——增加它通常让指标单调略升然后走平,训练时间却线性增长,所以一般直接给一个较大值(200~500)而不放进网格搜索。原书提醒设得过大会有过拟合风险,实践中更常见的问题其实是收益递减和耗时。max_features:每次分裂考虑的特征数,默认None(全部)。这是 RF 最重要的旋钮:调小 → 树之间更不相关 → 集成方差更低;但太小 → 单棵树太弱 → 偏差上升。分类常用sqrt,回归常用 0.3~0.5 倍特征数。oob_score:默认False,建议设True,用袋外样本免费评估,见 [[袋外样本是免费的验证集]]。bootstrap/max_samples:控制是否有放回抽样与子集大小,一般保持默认。
CART 这组(控制单树复杂度):
max_depth:最大深度,默认不限。样本多、特征多时限制到 10~100 可抑制过拟合。min_samples_split(默认 2)、min_samples_leaf(默认 1):节点继续分裂所需的最小样本数、叶子的最小样本数,样本量大时都建议调大。max_leaf_nodes、min_impurity_split:叶子数上限与不纯度下降阈值,特征多时用来剪枝。criterion:分类gini/entropy,回归mse/mae,默认值通常就够。class_weight:类别不平衡时设balanced,让少数类权重变高。
一个可执行的顺序:先固定 n_estimators=300、oob_score=True,只网格搜索 max_features;再用 max_depth 或 min_samples_leaf 压复杂度;最后视正负样本比例决定 class_weight。n_jobs=-1 用满 CPU 核,RF 的树彼此独立,加速几乎线性。
训练完常用三个属性做诊断:oob_score_(泛化粗估)、feature_importances_(特征排序)、estimators_(取出单棵树检查)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.4 RF的scikit-learn实现 · 查看原书依据
n_estimators:基学习器的最大迭代次数,即基学习器的个数
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文按"Bagging 参数 + CART 参数"两组列出 n_estimators、oob_score、max_features、max_depth、min_samples_leaf、class_weight 等的作用与默认值。
- 原始内容:n_estimators:基学习器的最大迭代次数,即基学习器的个数……max_features:划分时考虑的最大特征数,可选 None、log2、sqrt、auto,默认是None,意味着划分时考虑所有的特征数。