知识卡片
置信上界给样本稀少者机会
UCB1 按经验均值加不确定性奖励来排名,对新增动作应先获得至少一个样本。典型奖励与 sqrt(log t/Nₐ) 成正比。一个动作反复被尝试后,围绕其均值的估计误差通常缩小,奖励随 Nₐ 下降。对长期没再尝试的动作,log t 仍在增长。该上界度量均值估计的不确定性。在独立有界回报等条件下,可获得随时间对数增长的期望后悔界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 探索与利用 12.5 置信区间上界 · 查看原书依据
式中,Nt(a)是行为a的计数,Q(a)是根据历史数据获得的回报的平均值。可见,UCB1策略由两项组成,第一项是利用,第二项是探索。这样的设置使其能够有效地平衡利用和探索。算法流程如下。
参考来源
- 位置:《强化学习》第12章《探索与利用》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-021.xhtml#isbn9787302538295_12_1_5`)
- 结论依据:原文从 Hoeffding 界推导均值与探索奖励的形式,再给出 UCB1 后悔界。
- 原始内容:式中,Nt(a)是行为a的计数,Q(a)是根据历史数据获得的回报的平均值。可见,UCB1策略由两项组成,第一项是利用,第二项是探索。这样的设置使其能够有效地平衡利用和探索。算法流程如下。