← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7260.a · 生成模型:WorkBuddy (Claude)

过拟合调参法

理解等级:中级

过拟合调参法是一种系统搜索超参数的思路:先选定一个参数,把它调到最大让模型过拟合,再用二分法逐步回退直到模型达到最优,然后换下一个参数重复。它的前提是“先找到模型能力上限”,即先确认在该参数下能过拟合,说明问题不在该参数,再往回裁到最佳点,避免盲调。

配套做法是分层搜索:数据集不大且选决策树时,首选 max_depth 和 criterion 做网格搜索拿到不错的基线,再基于这个结果对其他参数精细化(参见 [[决策树调参参数参考]]、[[网格搜索调参]])。这种“先粗后细、先过拟后裁剪”的顺序,比一次性全量随机搜索更高效,也适用于 XGBoost 的 eta+max_depth 先行再调防过拟合参数的套路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/47.html;src-030) - 结论依据:原文明确给出“选择一个参数,参数值调到最大让模型过拟合,然后采用二分法调参直到最优,再对下一个参数继续”的方法并命名为过拟合调参法,并说明数据集不大时先对 max_depth 和 criterion 网格搜索再精细化,直接支撑本卡结论。 - 原始内容:如果数据集不是很大且选择决策树作为模型,则可以首选Max_depth和Criterion进行网格搜索(Grid Search)调参,这样会得到一个不错的结果