← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.a.1.b · 生成模型:GPT-6

未访问动作不能从路径验收

理解等级:高级

迷宫实验从固定起点出发,踩陷阱、到宝藏分别以负、正奖励结束回合。两种算法可以从已学到的表格找出一条成功路线,但回合中的频繁路径只验证沿途选过的动作。若某个格子从未到访,它的动作值可以全处于初始值,所有动作并列只说明缺经验。比较策略时应额外记录各状态动作的访问次数,并区分从单一初始状态成功与全图覆盖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 时序差分 5.5.2 Sarsa方法 · 查看原书依据

      图5-7为智能体从起点出发找到宝藏的最优路径。最优路径所在状态经历了多次探索,可以得到比较准确的最优行为。而其他状态经历次数很少,给出的最优行为不精确。例如,宝藏左右两侧的网格位置,因为智能体从没有经历过,因此其四个方向的行为值函数均为0,对应的最优行为为四个方向中的任意一个。为简要地说明问题,仅列出最优路径经历的状态及采取的最优行为,见表5-4。其中最优行为是带有ε随机性的随机行为,以ε的概率选择当前最优动作,以1-ε的概率随机选择一个行为。

    参考来源

    - 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_5_2`) - 结论依据:原文指出宝藏两侧从未被探索,四个动作值均为初值,给出了有限训练覆盖的直接反例。 - 原始内容:图5-7为智能体从起点出发找到宝藏的最优路径。最优路径所在状态经历了多次探索,可以得到比较准确的最优行为。而其他状态经历次数很少,给出的最优行为不精确。例如,宝藏左右两侧的网格位置,因为智能体从没有经历过,因此其四个方向的行为值函数均为0,对应的最优行为为四个方向中的任意一个。为简要地说明问题,仅列出最优路径经历的状态及采取的最优行为,见表5-4。其中最优行为是带有ε随机性的随机行为,以ε的概率选择当前最优动作,以1-ε的概率随机选择一个行为。