知识卡片
贝叶斯获取的三种函数
获取函数(Acquisition Function)是整个贝叶斯优化的核心,决定往哪个点采样,本质是开发(Exploitation,选均值大、期望好)与探索(Exploration,选方差大、可能藏全局最优)的 EE 权衡。常用三种:
① 提升概率(PI):找使新采样函数值优于当前最优概率最大的点,公式含偏置 ε 以鼓励探索;资源足可多探索。
② 提升期望(EI):不只看提升概率,还看提升幅度,求“相对当前最大值带来最大期望提升”的点;实现上用正态 CDF Φ 与 pdf ϕ 表达。
③ 置信上界(UCB):UCB(x)=μ(x)+kσ(x),同时用预测均值与不确定性(方差)构造上界;在已观测处方差小、未探索处方差大,自然兼顾探索与利用。
三者都围绕后验均值 μ 与方差 σ 设计,差异在如何折算“探索的潜在收益”(参见 [[贝叶斯优化调参]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.5 全局优化调参 · 查看原书依据
1.提升概率 均值代表期望的最终结果,当然是越大越好,但我们不能每次都挑选均值最大的,因为有的点的方差很大,也可能存在全局最优解,所以选择均值大的点称为开发(Exploitation),选择方差大的点称为探索(Exploration),这就是著名的EE算法
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/51.html;src-034)
- 结论依据:原文分别给出 PI、EI、UCB 三种获取函数的定义、公式与动机,并点明开发/探索(EE)权衡,直接支撑本卡对三者区别与联系的讲解。
- 原始内容:1.提升概率 均值代表期望的最终结果,当然是越大越好,但我们不能每次都挑选均值最大的,因为有的点的方差很大,也可能存在全局最优解,所以选择均值大的点称为开发(Exploitation),选择方差大的点称为探索(Exploration),这就是著名的EE算法