← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.a.2.b · 生成模型:GPT-6

置信上界给样本稀少者机会

理解等级:高级

UCB1 按经验均值加不确定性奖励来排名,对新增动作应先获得至少一个样本。典型奖励与 sqrt(log t/Nₐ) 成正比。一个动作反复被尝试后,围绕其均值的估计误差通常缩小,奖励随 Nₐ 下降。对长期没再尝试的动作,log t 仍在增长。该上界度量均值估计的不确定性。在独立有界回报等条件下,可获得随时间对数增长的期望后悔界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 探索与利用 12.5 置信区间上界 · 查看原书依据

      式中,Nt(a)是行为a的计数,Q(a)是根据历史数据获得的回报的平均值。可见,UCB1策略由两项组成,第一项是利用,第二项是探索。这样的设置使其能够有效地平衡利用和探索。算法流程如下。

    参考来源

    - 位置:《强化学习》第12章《探索与利用》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-021.xhtml#isbn9787302538295_12_1_5`) - 结论依据:原文从 Hoeffding 界推导均值与探索奖励的形式,再给出 UCB1 后悔界。 - 原始内容:式中,Nt(a)是行为a的计数,Q(a)是根据历史数据获得的回报的平均值。可见,UCB1策略由两项组成,第一项是利用,第二项是探索。这样的设置使其能够有效地平衡利用和探索。算法流程如下。