← 返回刚才阅读的位置

知识卡片

操作参考卡 · 7260 · 生成模型:WorkBuddy (Claude)

决策树调参参数参考

理解等级:中级

以 sklearn 决策树为例,参数按用途可分为三组。① 分裂标准:criterion 取 entropy 或 gini,二者差别不大,一般 gini 更好。② 控制树规模、防止过拟合:max_depth(1~32,越深拟合越好但易过拟合,建议按深度范围建模并绘制训练/测试 AUC)、min_samples_split(内部节点最小样本数,10%~100% 调参,100% 时欠拟合)、min_samples_leaf(叶子最小样本数,10%~100%,100% 严重欠拟合)、max_features(节点分裂考虑的最大特征数,30%~100%,10% 时严重欠拟合,主要防过拟合)、max_leaf_nodes(建最优树时限制叶子数,防过拟合)、ccp_alpha(α,惩罚叶子个数、降低损失 C(T),防过拟合)。③ 样本均衡:class_weight 为正负样本分配权重,解决样本不均衡。

易错点:把 max_features 或 min_samples_* 调得太小会直接欠拟合;ccp_alpha 越大树越简单,需配合 max_depth 一起看。若数据集不大,可先对 max_depth 和 criterion 做网格搜索得到基线,再细化其余参数(参见 [[过拟合调参法]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/47.html;src-030) - 结论依据:原文按 sklearn 决策树逐一列出 criterion、max_depth、min_samples_split、min_samples_leaf、class_weight、max_features、max_leaf_nodes、ccp_alpha 等参数及其取值范围与防过拟合/样本均衡用途,直接支撑本卡的分组与场景说明。 - 原始内容:❑ max_features(节点分裂时考虑的最大特征数): 通常从30% ~ 100%进行调参 , 一般在10%的情况下 , 模型严重欠拟合