三种超参数搜索方法的递进逻辑

网格搜索、随机搜索、贝叶斯优化这三种调参方法，本质是同一个问题在”信息利用程度”上的递进方案。网格搜索对参数空间做穷举，能保证在给定网格内找到最优，但组合数随参数个数指数增长，且默认所有参数同等重要；随机搜索改为按分布随机抽样，代价是不再保证覆盖所有组合，但换来的好处是即使某个参数其实对结果没什么影响，也不会拖慢整体搜索效率（因为抽样次数由预算而非维度决定）；贝叶斯优化则更进一步，把每一次采样的结果都用来更新对目标函数形状的估计（假设其满足高斯过程），下一次采样点由已有信息推荐得出，而不是像前两者一样每次采样互相独立。三者的核心差异不是”更聪明的算法”，而是”是否利用了之前尝试留下的信息”。