← 返回起始笔记位置

知识卡片

结构图卡 · 9880.b · 生成模型:Hunyuan

值迭代网络结构

理解等级:中级

值迭代网络的核心洞见,是把值迭代规划算法“展开”成一个卷积神经网络。值迭代的关键公式可拆成两步:先遍历所有动作算出各自的状态-动作值,再取其中的最大值来更新状态值;前者恰似CNN的卷积(状态转移概率充当卷积核、回报充当偏移,卷积核个数等于动作空间维数),后者恰似池化。于是把这两步做成卷积层与池化层反复堆叠K次,网络的前向传播就等于执行了K轮值迭代,策略网络由此获得显式的规划计算。这一转换把“规划”从外部算法变成了网络内可微分、可端到端训练的一部分。

结构图:

flowchart LR
    OBS[Observation 观测] --> CONV[InputConv 输入映射]
    CONV --> RM[RewardMap 回报图]
    RM --> VI[VIModule 值迭代模块]
    CV[Conv 卷积遍历动作] --> PL[Pool 取最大值]
    VI --> CV
    PL --> ATT[Attention 注意力层]
    ATT --> PI[Policy 最优策略]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 值迭代网络 · 查看原书依据

      熟悉CNN的同学应该很清楚,值函数迭代过程中的公式(13.3)相当于CNN中的卷积操作,(13.4)式相当于池化操作。从这个意义上讲,可以将值迭代的过程用CNN网络嵌入到策略网络中,使策略网络具有规划计算的功能。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html) - 结论依据:原文明确说值迭代公式(13.3)(13.4)分别相当于卷积和池化,状态转移概率可看成卷积核、回报可看成偏移、卷积核个数等于动作空间维数,可将值迭代用CNN嵌入策略网络。 - 原始内容:熟悉CNN的同学应该很清楚,值函数迭代过程中的公式(13.3)相当于CNN中的卷积操作,(13.4)式相当于池化操作。从这个意义上讲,可以将值迭代的过程用CNN网络嵌入到策略网络中,使策略网络具有规划计算的功能。