知识卡片
注意力嵌入与训练
值迭代网络在值迭代模块之后接一个注意力(attention)网络来产出策略:因为求最优策略时,状态s的动作只与s局部邻域的值函数有关,而“标签只与输入特征局部相关”正是注意力的典型场景,最简单的实现就是取当前状态的邻域值。训练上它很灵活:可用模仿学习,拿传统规划算法(如Dijkstra、A*)生成的专家动作当标签做监督训练;也可在无现成标签时用强化学习端到端学习。这种“把规划写进结构、再用成熟监督方法训练”的组合,既获得规划带来的泛化,又摆脱了对纯强化学习的依赖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 值迭代网络 · 查看原书依据
从上面已知最优值函数求解最优策略的公式我们可以看到,状态s处的最优策略只与状态s局部的值函数有关,因此值迭代网络在值迭代模块后跟了一个attention网络,最简单的attention机制就是取当前状态的邻域。
参考来源
- 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html)
- 结论依据:原文定义了注意力机制并指出状态s的最优策略只与局部值有关、值迭代模块后跟attention网络,还说明训练既可用模仿学习(专家数据来自Dijkstra或A*)也可用强化学习。
- 原始内容:从上面已知最优值函数求解最优策略的公式我们可以看到,状态s处的最优策略只与状态s局部的值函数有关,因此值迭代网络在值迭代模块后跟了一个attention网络,最简单的attention机制就是取当前状态的邻域。