← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7260.f · 生成模型:WorkBuddy (Claude)

网格搜索调参

理解等级:中级

网格搜索(Grid Search)是最原始也最暴力的参数搜索:直接对所有参数组合暴力枚举,让模型跑完所有组合后选最优结果,因此能拿到当前参数空间下的最优解,也是工程师最熟悉常用的方法。

它的适用边界很明确:数据集不大、参数不多(组合不过 50)时推荐使用。代价是时间复杂度极高——单台机器、参数多时搜索规模巨大。为克服这一点,可用分布式调参:用 Spark 给集群每台机器部署模型,导入(规模不能太大的)训练/测试集,均匀分配参数组合,最后主机器收集各机结果排序挑最优。算力不足时只能对样本采样,在采样集得到相对最优解再套用到全量数据训练。

对于神经网络这类大数据、大参数场景,网格搜索基本不适用(参见 [[贝叶斯优化调参]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/51.html;src-034) - 结论依据:原文定义网格搜索为对所有参数暴力枚举取最优,并给出适用条件(数据集不大、组合不过50)与分布式 Spark 思路及算力不足时采样取相对最优的限制,直接支撑本卡。 - 原始内容:该方法的主要思路是,用Spark给集群中的每台机器部署模型,然后导入训练集和测试集(当然,训练集和测试集的规模不能太大)进行训练,每台机器都均匀分配调参参数组合