知识卡片
反应式策略的局限
反应式策略指给定一个状态就直接输出一个动作的前向网络,DQN正是这种输入画面、输出各动作概率的多层网络。它在识别类任务上表现出色,但强化学习要解的是马尔可夫序列决策:当前选择会改变后续状态与回报,最优决策必须把未来纳入考量。反应式策略只看当前一帧,无法表达后续决策对当前决策的反向影响,因此并未学到任务本质。Tamar等人发现,DQN即便在雅达利上调优得很好,也难以泛化到其他游戏,根源正在于网络结构缺少对未来的建模。这说明一个深度强化学习系统的上限,往往由网络结构而非训练算法决定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 值迭代网络 · 查看原书依据
从字面意思很容易理解,即给出一个状态,得到一个反应动作。从强化学习要解决的任务来看,反应式策略并非好策略。强化学习通常要解决的马尔科夫决策问题本质上是序列决策问题,即当前的决策需要考虑后续的决策,以使整个决策总体最优。
参考来源
- 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html)
- 结论依据:原文指出DQN是前向多层网络、输入状态输出动作,并称其为反应式策略,进而论证马尔科夫决策是序列决策、该策略不能表达后续策略对当前策略的影响。
- 原始内容:从字面意思很容易理解,即给出一个状态,得到一个反应动作。从强化学习要解决的任务来看,反应式策略并非好策略。强化学习通常要解决的马尔科夫决策问题本质上是序列决策问题,即当前的决策需要考虑后续的决策,以使整个决策总体最优。