← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9827.k · 生成模型:DeepSeek-V4.1-Flash

决策树的关键参数

理解等级:中级

scikit-learn 里只有 CART 的两个类:DecisionTreeClassifier(分类)与 DecisionTreeRegressor(回归),参数几乎相同。按用途分组记比逐条背更实用。

1. 换切分准则:criterion 分类可选 gini(默认,基尼)与 entropy(熵,即信息增益口径)。注意:即使选 entropy,sklearn 内部仍是二叉切分,只是准则变了,并不是真正的 ID3/C4.5 多叉树。回归固定用平方误差。

2. 控复杂度、防过拟合(互有重叠,通常只调其中两三个) - max_depth:最大深度,默认不限;样本和特征都多时常用 10~100。 - min_samples_split:节点继续分裂所需的最小样本数,默认 2;样本量大时调大。 - min_samples_leaf:叶子最少样本数,默认 1;调大相当于把过小的叶子并回兄弟节点。 - max_leaf_nodes:最大叶子数,默认不限,特征多时用来封顶。 - min_impurity_split:不纯度下降的阈值,低于它就不再分叉——这就是 [[预剪枝与后剪枝的代价]] 里的先剪枝旋钮。

3. 大数据加速:splitter='random'(在部分候选切分点里找局部最优,默认 best 为全局最优)、max_features(限制每次划分考虑的特征数,如 sqrt/log2)。

4. 类别不平衡:class_weight='balanced' 按类别频率反比自动加权,或传字典自定权重,避免模型倒向多数类。

输出侧:feature_importances_ 给出特征重要度;predict_proba 输出各类别概率(回归树没有此方法);tree_ 暴露底层结构,可配合可视化导出规则。

调参顺序建议:先定 criterion,再用 max_depth 或 min_samples_leaf 卡住过拟合,最后才考虑加速类参数——前两者改变模型本身,后者只影响训练开销。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文说明 sklearn 用优化后的 CART,两个类参数基本一样,并逐项给出 criterion、splitter、max_depth、min_samples_split/leaf、min_impurity_split、class_weight 的含义与默认值,以及 feature_importances_ 等属性方法。 - 原始内容:criterion:特征选择标准;可选gini或entropy,前者代表基尼系数,后者代表信息增益。默认为基尼系数,即CART。如果想使用ID3决策树或C4.5决策树,可以改用entropy。