知识卡片
MADDPG集中训练
MADDPG 采用集中训练、分布式执行:训练时每个智能体都有 Critic 和 Actor,Critic 使用全局信息,包括其他智能体的观测和动作,从而估计它们的策略;执行时只用 Actor,只依赖本智能体的局部观测。因为 Critic 知道所有智能体的动作,环境对它是稳定的。各智能体有独立的奖励函数,可形成合作、对抗或混合关系。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-3.xhtml)
- 结论依据:原文说明MADDPG可集中训练、分布式执行:训练时使用Critic和Actor,调用模型时只用Actor、只需局部信息;Critic使用全局信息,需知道其他智能体策略,可通过观测和动作估计;因为知道所有智能体动作,环境保持稳定;每个智能体有独立奖励函数,可形成合作或对抗。
- 原始内容:·可以进行集中训练,在模型执行时可以分布式执行。……Critic可以使用全局的信息进行训练学习,Actor使用局部观测信息,MADDPG中,因为可以知道所有智能体动作,环境就可以保持稳定