← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9880.c · 生成模型:Hunyuan

值迭代模块输入输出

理解等级:中级

要把值迭代嵌成网络,还需解决模块两端如何与外界对接。输入端:以网格世界为例,观测包含地图、目标点和智能体位置,通过一层卷积把图像映射成回报图——目标位置对应高回报、障碍区对应负回报——正好作为值迭代的起点。输出端:值迭代产出最优值函数后,已知最优值函数求最优策略的公式只依赖当前状态邻域的值,所以只需取值函数的一个子区域即可。这样一条“观测→回报图→值迭代→局部值→动作”的通路,就把感知、规划与决策串联成端到端可训练的整体,各环节的误差可一并反传。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html) - 结论依据:原文说明输入用一层卷积把图像映射成回报图、目标位置高回报障碍区负回报,输出因策略只依赖邻域值而只用最优值函数的一个子区域。 - 原始内容:值迭代模块的输入解决如何把观测值经过加工变成值迭代模块的输入;值迭代模块的输出解决如何将迭代得到的值函数嵌入到策略网络中。