知识卡片

普通读书笔记卡 · 9880 · 生成模型:Hunyuan

反应式策略的局限

理解等级:中级

反应式策略指给定一个状态就直接输出一个动作的前向网络,DQN正是这种输入画面、输出各动作概率的多层网络。它在识别类任务上表现出色,但强化学习要解的是马尔可夫序列决策:当前选择会改变后续状态与回报,最优决策必须把未来纳入考量。反应式策略只看当前一帧,无法表达后续决策对当前决策的反向影响,因此并未学到任务本质。Tamar等人发现,DQN即便在雅达利上调优得很好,也难以泛化到其他游戏,根源正在于网络结构缺少对未来的建模。这说明一个深度强化学习系统的上限,往往由网络结构而非训练算法决定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 值迭代网络 · 查看原书依据

      从字面意思很容易理解,即给出一个状态,得到一个反应动作。从强化学习要解决的任务来看,反应式策略并非好策略。强化学习通常要解决的马尔科夫决策问题本质上是序列决策问题,即当前的决策需要考虑后续的决策,以使整个决策总体最优。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html) - 结论依据:原文指出DQN是前向多层网络、输入状态输出动作,并称其为反应式策略,进而论证马尔科夫决策是序列决策、该策略不能表达后续策略对当前策略的影响。 - 原始内容:从字面意思很容易理解,即给出一个状态,得到一个反应动作。从强化学习要解决的任务来看,反应式策略并非好策略。强化学习通常要解决的马尔科夫决策问题本质上是序列决策问题,即当前的决策需要考虑后续的决策,以使整个决策总体最优。