← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9874.g · 生成模型:Hunyuan

Softmax策略实现

理解等级:中级

当动作空间离散时(如小车倒立摆只有两个动作:0 施加 −10N,1 施加 +10N),随机策略可取 Softmax 策略:网络最后一层输出各动作的 logit z,经 softmax 得 π(a|s) 为各动作指数归一化值。实现时把策略梯度转化为一个分类训练问题:损失函数 = 交叉熵 × 该动作的累积回报 v。三个输入必须齐备:状态 s 由与环境交互得到;动作 a 由采样网络按概率分布采样产生,在训练中充当标签;累积回报 v 由该动作之后的回报累加并归一化得到。网络结构可为 4 维输入 → 10 个 ReLU 隐藏单元 → 2 个输出 → softmax 层。可迁移操作顺序:建策略网络、按概率采样动作、用采样动作作标签构造交叉熵、乘以归一化回报、用自适应动量优化器更新。这样策略优化就复用了成熟的监督学习框架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 基于策略梯度的强化学习方法 · 查看原书依据

      第一项,小车倒立摆的状态s是与环境交互得到的;第二项,作用在小车上的动作a是由采样网络得到的,在训练过程中充当标签的作用;第三项,每个动作对应的累积回报是由该动作后的回报进行累积并经归一化处理得到的。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html) - 结论依据:原文说明离散动作下选用 Softmax 策略、softmax 输出即动作概率,并把策略梯度转化为交叉熵乘累积回报的分类训练,列出三项输入与代码实现要点。 - 原始内容:第一项,小车倒立摆的状态s是与环境交互得到的;第二项,作用在小车上的动作a是由采样网络得到的,在训练过程中充当标签的作用;第三项,每个动作对应的累积回报是由该动作后的回报进行累积并经归一化处理得到的。