知识卡片
过拟合调参法
过拟合调参法是一种系统搜索超参数的思路:先选定一个参数,把它调到最大让模型过拟合,再用二分法逐步回退直到模型达到最优,然后换下一个参数重复。它的前提是“先找到模型能力上限”,即先确认在该参数下能过拟合,说明问题不在该参数,再往回裁到最佳点,避免盲调。
配套做法是分层搜索:数据集不大且选决策树时,首选 max_depth 和 criterion 做网格搜索拿到不错的基线,再基于这个结果对其他参数精细化(参见 [[决策树调参参数参考]]、[[网格搜索调参]])。这种“先粗后细、先过拟后裁剪”的顺序,比一次性全量随机搜索更高效,也适用于 XGBoost 的 eta+max_depth 先行再调防过拟合参数的套路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.1 决策树调参 · 查看原书依据
如果数据集不是很大且选择决策树作为模型,则可以首选Max_depth和Criterion进行网格搜索(Grid Search)调参,这样会得到一个不错的结果
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/47.html;src-030)
- 结论依据:原文明确给出“选择一个参数,参数值调到最大让模型过拟合,然后采用二分法调参直到最优,再对下一个参数继续”的方法并命名为过拟合调参法,并说明数据集不大时先对 max_depth 和 criterion 网格搜索再精细化,直接支撑本卡结论。
- 原始内容:如果数据集不是很大且选择决策树作为模型,则可以首选Max_depth和Criterion进行网格搜索(Grid Search)调参,这样会得到一个不错的结果