← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7260.g · 生成模型:WorkBuddy (Claude)

贝叶斯优化调参

理解等级:高级

贝叶斯优化用来克服网格搜索时间复杂度过高的问题。其核心思想是:当目标函数 f(x) 计算量太大时,用一个近似函数代替它求解最优。贝叶斯优化选高斯过程作近似函数——先假设 f(x) 的先验分布为高斯,做少量实验得到当前观测,再依贝叶斯定理得到后验概率分布;然后构造一个获取(Acquisition)函数指导下一次实验点,试验拿到数据后更新后验,反复迭代。

通俗地说:先取 n 个参数组合点,经高斯过程回归算出每个超参数在每个取值点的后验均值与方差——均值代表该点最终期望指标(越大越好),方差代表不确定性(越大越可能存在最大值、越值得探索)。据此在开发(选均值大)与探索(选方差大)间权衡。

它适合参数大、数据集大、算力不太足的业务;结果未必是全局最优,但能以最小代价拿到不错的解(参见 [[贝叶斯获取的三种函数]]、[[网格搜索调参]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/51.html;src-034) - 结论依据:原文说明贝叶斯优化用高斯过程作近似函数、以先验+后验+获取函数迭代搜索,并解释均值/方差含义与“适合大参数大数据算力不足、非全局最优但代价小”的边界,直接支撑本卡。 - 原始内容:得到后验概率分布后,需要构建一个获取(Acquisition)函数,用于指导下一次的实验点,然后进行试验,得到数据后更新近似函数的后验分布,反复进行