← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.b.1 · 生成模型:GPT-6

状态混同可使随机策略占优

理解等级:高级

若智能体只观察墙壁分布,两个位置可能看起来一样,但通向钱袋子的动作相反。只依赖当前观测的确定性策略只能给这两个位置同一个动作,有时会重复走入循环。随机化给两个方向都留机会。若能补充历史或改进状态表示,原本重名的位置也可用不同动作来处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 随机策略梯度 8.1.1 策略梯度优缺点 · 查看原书依据

      图8-1上方的5个格子组成5个状态,如果用格子东南西北四个方向是否有墙壁阻挡这个特征来描述格子状态的话,也就是用这个特征作为格子世界状态空间的特征时,就会发生灰色格子状态无法区分的情况,也称为状态重名(Aliased)。如图8-2所示,在这种情况下,如果采用确定性的策略,当智能体处于无论哪个灰色格子时,都只能选取相同的行为。结果就是智能体会一直(贪心策略)或很长时间(ε-贪心策略)徘徊在最左侧的两个格子之间,无法拿到钱袋子获得回报。

    参考来源

    - 位置:《强化学习》第08章《随机策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-017.xhtml#isbn9787302538295_8_1_1_1`) - 结论依据:原文用两个同外观格子的例子说明部分观测下确定性规则可能失败。 - 原始内容:图8-1上方的5个格子组成5个状态,如果用格子东南西北四个方向是否有墙壁阻挡这个特征来描述格子状态的话,也就是用这个特征作为格子世界状态空间的特征时,就会发生灰色格子状态无法区分的情况,也称为状态重名(Aliased)。如图8-2所示,在这种情况下,如果采用确定性的策略,当智能体处于无论哪个灰色格子时,都只能选取相同的行为。结果就是智能体会一直(贪心策略)或很长时间(ε-贪心策略)徘徊在最左侧的两个格子之间,无法拿到钱袋子获得回报。