知识卡片
决策树的关键参数
scikit-learn 里只有 CART 的两个类:DecisionTreeClassifier(分类)与 DecisionTreeRegressor(回归),参数几乎相同。按用途分组记比逐条背更实用。
1. 换切分准则:criterion
分类可选 gini(默认,基尼)与 entropy(熵,即信息增益口径)。注意:即使选 entropy,sklearn 内部仍是二叉切分,只是准则变了,并不是真正的 ID3/C4.5 多叉树。回归固定用平方误差。
2. 控复杂度、防过拟合(互有重叠,通常只调其中两三个)
- max_depth:最大深度,默认不限;样本和特征都多时常用 10~100。
- min_samples_split:节点继续分裂所需的最小样本数,默认 2;样本量大时调大。
- min_samples_leaf:叶子最少样本数,默认 1;调大相当于把过小的叶子并回兄弟节点。
- max_leaf_nodes:最大叶子数,默认不限,特征多时用来封顶。
- min_impurity_split:不纯度下降的阈值,低于它就不再分叉——这就是 [[预剪枝与后剪枝的代价]] 里的先剪枝旋钮。
3. 大数据加速:splitter='random'(在部分候选切分点里找局部最优,默认 best 为全局最优)、max_features(限制每次划分考虑的特征数,如 sqrt/log2)。
4. 类别不平衡:class_weight='balanced' 按类别频率反比自动加权,或传字典自定权重,避免模型倒向多数类。
输出侧:feature_importances_ 给出特征重要度;predict_proba 输出各类别概率(回归树没有此方法);tree_ 暴露底层结构,可配合可视化导出规则。
调参顺序建议:先定 criterion,再用 max_depth 或 min_samples_leaf 卡住过拟合,最后才考虑加速类参数——前两者改变模型本身,后者只影响训练开销。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.5 决策树的scikit-learn实现 · 查看原书依据
criterion:特征选择标准;可选gini或entropy,前者代表基尼系数,后者代表信息增益。默认为基尼系数,即CART。如果想使用ID3决策树或C4.5决策树,可以改用entropy。