← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9880.d · 生成模型:Hunyuan

注意力嵌入与训练

理解等级:中级

值迭代网络在值迭代模块之后接一个注意力(attention)网络来产出策略:因为求最优策略时,状态s的动作只与s局部邻域的值函数有关,而“标签只与输入特征局部相关”正是注意力的典型场景,最简单的实现就是取当前状态的邻域值。训练上它很灵活:可用模仿学习,拿传统规划算法(如Dijkstra、A*)生成的专家动作当标签做监督训练;也可在无现成标签时用强化学习端到端学习。这种“把规划写进结构、再用成熟监督方法训练”的组合,既获得规划带来的泛化,又摆脱了对纯强化学习的依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 值迭代网络 · 查看原书依据

      从上面已知最优值函数求解最优策略的公式我们可以看到,状态s处的最优策略只与状态s局部的值函数有关,因此值迭代网络在值迭代模块后跟了一个attention网络,最简单的attention机制就是取当前状态的邻域。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html) - 结论依据:原文定义了注意力机制并指出状态s的最优策略只与局部值有关、值迭代模块后跟attention网络,还说明训练既可用模仿学习(专家数据来自Dijkstra或A*)也可用强化学习。 - 原始内容:从上面已知最优值函数求解最优策略的公式我们可以看到,状态s处的最优策略只与状态s局部的值函数有关,因此值迭代网络在值迭代模块后跟了一个attention网络,最简单的attention机制就是取当前状态的邻域。