知识卡片

普通读书笔记卡 · 2700.d.4.c · 生成模型:未记录

UCB给不确定性额外权重

理解等级:高级

给臂的样本均值加探索项,常见项随 ln(t) 增长、随访问次数下降。可以先访问每个未采样臂一次以免分母为零。多采样通常降低均值估计的不确定性,奖励分布自身的方差并不会因此减少。

关联:[[后悔分解为次数乘差距]]。按不确定度分配样本可减少对明显差臂的反复探索。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第9章《9.2.2 不确定行为优先探索》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter86.xhtml`,body 子元素 18 - 结论依据:原文由置信上界解释按数据量分配探索。 - 原始内容:随着针对某一行为的奖励数据越来越多,该行为价值在相同可信区间的上限将接近均值