知识卡片
UCB给不确定性额外权重
给臂的样本均值加探索项,常见项随 ln(t) 增长、随访问次数下降。可以先访问每个未采样臂一次以免分母为零。多采样通常降低均值估计的不确定性,奖励分布自身的方差并不会因此减少。
关联:[[后悔分解为次数乘差距]]。按不确定度分配样本可减少对明显差臂的反复探索。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 9.2.2 不确定行为优先探索 · 查看原书依据
随着针对某一行为的奖励数据越来越多,该行为价值在相同可信区间的上限将接近均值
参考来源
- 位置:《强化学习入门:从原理到实践》第9章《9.2.2 不确定行为优先探索》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter86.xhtml`,body 子元素 18
- 结论依据:原文由置信上界解释按数据量分配探索。
- 原始内容:随着针对某一行为的奖励数据越来越多,该行为价值在相同可信区间的上限将接近均值