← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.h · 生成模型:Hunyuan

有向探索与贝叶斯优化

理解等级:高级

原 PILCO 在策略改善时只最小化累积代价均值,是纯粹的‘利用’(exploitation),没有‘探索’(exploration),因为没用上代价的方差。而方差恰恰携带模型不确定性信息,好的策略应同时权衡均值与方差。有向探索 PILCO 唯一改动是把优化目标从均值累积代价换成均值与方差的函数,也就是贝叶斯优化里的采集函数。常用四种:UCB 用均值加 κ 倍标准差,κ 平衡利用与探索;PI 最大化优于当前最优的概率;EI 按改进量的期望加权,克服 PI 在几乎确定却毫无价值的小改进上浪费探索的病态;GI 用基廷斯指数近似多臂老虎机的折现收益。小数值直觉:均值 10、标准差 2 与均值 8、标准差 6 两个候选,UCB 在 κ=1 下分别得 12 与 14,会选后者,主动探索高不确定区域。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:正文指出原算法只有 exploitation 没有 exploration,并列出 UCB、PI、EI、GI 四种 BO 函数。 - 原始内容:PILCO 是一个贪婪优化的过程,只有 exploitation (利用) 没有exploration(探测)。该特征具体表现在图14.7PILCO算法的第7行,即只优化累积代价的均值函数,而没有利用它的方差。