知识卡片
未访问动作不能从路径验收
迷宫实验从固定起点出发,踩陷阱、到宝藏分别以负、正奖励结束回合。两种算法可以从已学到的表格找出一条成功路线,但回合中的频繁路径只验证沿途选过的动作。若某个格子从未到访,它的动作值可以全处于初始值,所有动作并列只说明缺经验。比较策略时应额外记录各状态动作的访问次数,并区分从单一初始状态成功与全图覆盖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 时序差分
原书出处 · 1 处
- 时序差分 5.5.2 Sarsa方法 · 查看原书依据
图5-7为智能体从起点出发找到宝藏的最优路径。最优路径所在状态经历了多次探索,可以得到比较准确的最优行为。而其他状态经历次数很少,给出的最优行为不精确。例如,宝藏左右两侧的网格位置,因为智能体从没有经历过,因此其四个方向的行为值函数均为0,对应的最优行为为四个方向中的任意一个。为简要地说明问题,仅列出最优路径经历的状态及采取的最优行为,见表5-4。其中最优行为是带有ε随机性的随机行为,以ε的概率选择当前最优动作,以1-ε的概率随机选择一个行为。
参考来源
- 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_5_2`)
- 结论依据:原文指出宝藏两侧从未被探索,四个动作值均为初值,给出了有限训练覆盖的直接反例。
- 原始内容:图5-7为智能体从起点出发找到宝藏的最优路径。最优路径所在状态经历了多次探索,可以得到比较准确的最优行为。而其他状态经历次数很少,给出的最优行为不精确。例如,宝藏左右两侧的网格位置,因为智能体从没有经历过,因此其四个方向的行为值函数均为0,对应的最优行为为四个方向中的任意一个。为简要地说明问题,仅列出最优路径经历的状态及采取的最优行为,见表5-4。其中最优行为是带有ε随机性的随机行为,以ε的概率选择当前最优动作,以1-ε的概率随机选择一个行为。