知识卡片
网格搜索与随机搜索
超参不多时可把搜索自动化。网格搜索为每个超参指定小的值集,穷举笛卡儿积并选验证误差最小者,但试验数随超参数目指数增长,且常把算力浪费在对结果无影响的维度上。随机搜索改为给每个超参设定边缘分布(正实值超参常用对数均匀分布)再采样,无需离散化取值,能用相同预算探索更多有价值的组合;当只有少数超参真正重要时,它比网格搜索高效得多。重复运行并据结果收窄搜索范围可继续改进;更前沿的还有贝叶斯优化等基于模型的方法,通过探索与使用的权衡提出新猜想,但成熟度与可靠性有限。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 实践方法论 · 查看原书依据
随机搜索能比网格搜索更快地找到良好超参数的原因是,没有浪费的实验,不像网格搜索有时会对一个超参数的两个不同值(给定其他超参数值不变)给出相同结果。
参考来源
- 位置:《深度学习》第11章 实践方法论(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文指出网格搜索的指数级计算代价,并说明随机搜索因没有浪费的实验而更快找到良好超参。
- 原始内容:随机搜索能比网格搜索更快地找到良好超参数的原因是,没有浪费的实验,不像网格搜索有时会对一个超参数的两个不同值(给定其他超参数值不变)给出相同结果。