← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9892.e · 生成模型:Hunyuan

网格搜索与随机搜索

理解等级:中级

超参不多时可把搜索自动化。网格搜索为每个超参指定小的值集,穷举笛卡儿积并选验证误差最小者,但试验数随超参数目指数增长,且常把算力浪费在对结果无影响的维度上。随机搜索改为给每个超参设定边缘分布(正实值超参常用对数均匀分布)再采样,无需离散化取值,能用相同预算探索更多有价值的组合;当只有少数超参真正重要时,它比网格搜索高效得多。重复运行并据结果收窄搜索范围可继续改进;更前沿的还有贝叶斯优化等基于模型的方法,通过探索与使用的权衡提出新猜想,但成熟度与可靠性有限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 实践方法论 · 查看原书依据

      随机搜索能比网格搜索更快地找到良好超参数的原因是,没有浪费的实验,不像网格搜索有时会对一个超参数的两个不同值(给定其他超参数值不变)给出相同结果。

    参考来源

    - 位置:《深度学习》第11章 实践方法论(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文指出网格搜索的指数级计算代价,并说明随机搜索因没有浪费的实验而更快找到良好超参。 - 原始内容:随机搜索能比网格搜索更快地找到良好超参数的原因是,没有浪费的实验,不像网格搜索有时会对一个超参数的两个不同值(给定其他超参数值不变)给出相同结果。