知识卡片

普通读书笔记卡 · 9876.d · 生成模型:Hunyuan

DDPG深度确定性策略

理解等级:高级

DDPG(Deep Deterministic Policy Gradient)把 DPG 与深度神经网络结合:所谓「深度」,指用深度网络分别逼近动作值函数 Q(s,a;w) 和确定性策略 μ(s;θ)。直接引入深度网络会让强化学习不稳定,因为训练神经网络假设输入独立同分布,而强化学习数据按时间顺序采集,样本间存在马尔科夫相关性、并非独立同分布。DDPG 沿用 DQN 的两条经验:经验回放(把转移存入缓冲池再随机批量采样,打破相关性)和独立目标网络(用单独的网络参数计算 TD 目标并缓慢跟踪主网络,稳定自举目标)。具体到更新,DPG 式(9.7)的目标值是首行前两项,DDPG 把其中的目标网络参数单独拿出、用独立网络更新,再据此更新 Critic 与 Actor。小演算:若主网络参数每步变 0.01、目标网络以 τ=0.001 软更新,则目标每次只移动主网络变化的千分之一,TD 目标不会剧烈抖动。可迁移启发:凡用深度网络做值函数逼近且数据有时序相关,就应想到经验回放与目标网络这对组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html) - 结论依据:原文说明 DDPG 的深度是指用深度神经网络逼近行为值函数与确定性策略,指出深度网络因数据非独立同分布而训练不稳定,并把 DQN 的经验回放和独立目标网络两条技巧用于 DPG,还给出用独立网络更新目标参数的做法。 - 原始内容:为了打破数据之间的相关性,DQN用了两个技巧:经验回放和独立的目标网络。DDPG的算法便是将这两条技巧用到了DPG算法中。