知识卡片

普通读书笔记卡 · 9869.k.1.a.3 · 生成模型:GPT-6

信息价值取决于未来使用机会

理解等级:高级

试一个不确定动作会改变以后掌握的信息。这次收益可能较低,却可能发现一条以后可以反复使用的高收益选项。剩余机会越少,额外信息越难回收成本。可以把当前后验或足以更新后验的统计量表示为信息状态,再规划更新信息和使用信息的序列。对于未知伯努利概率,仅记录次数还不够,还要保留成功次数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 探索与利用 12.7 信息价值 · 查看原书依据

      假设有个2臂赌博机,分别是a1和a2。智能体对a1执行了充分的试验,对其价值有一个较为准确的估计,估计其立即回报的期望为1。因为对a2执行的次数比较少,因此对a2有一个不是非常准确的估计:0.6。是否继续探索a2的价值取决于很多因素,其中最重要的一条就是智能体是否有足够多的次数去获取累积回报。如果行为次数非常有限,那么智能体可能会倾向于选择a1;反之,就会继续探索a2的价值。

    参考来源

    - 位置:《强化学习》第12章《探索与利用》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-021.xhtml#isbn9787302538295_12_1_7`) - 结论依据:原文用剩余试验机会解释信息价值,引入以历史信息为状态的决策过程。 - 原始内容:假设有个2臂赌博机,分别是a1和a2。智能体对a1执行了充分的试验,对其价值有一个较为准确的估计,估计其立即回报的期望为1。因为对a2执行的次数比较少,因此对a2有一个不是非常准确的估计:0.6。是否继续探索a2的价值取决于很多因素,其中最重要的一条就是智能体是否有足够多的次数去获取累积回报。如果行为次数非常有限,那么智能体可能会倾向于选择a1;反之,就会继续探索a2的价值。