返回主题:强化学习与多智能体

知识卡片

普通读书笔记卡 · 2796.a

MADDPG集中训练

理解等级:未标注

MADDPG 采用集中训练、分布式执行:训练时每个智能体都有 Critic 和 Actor,Critic 使用全局信息,包括其他智能体的观测和动作,从而估计它们的策略;执行时只用 Actor,只依赖本智能体的局部观测。因为 Critic 知道所有智能体的动作,环境对它是稳定的。各智能体有独立的奖励函数,可形成合作、对抗或混合关系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-3.xhtml) - 结论依据:原文说明MADDPG可集中训练、分布式执行:训练时使用Critic和Actor,调用模型时只用Actor、只需局部信息;Critic使用全局信息,需知道其他智能体策略,可通过观测和动作估计;因为知道所有智能体动作,环境保持稳定;每个智能体有独立奖励函数,可形成合作或对抗。 - 原始内容:·可以进行集中训练,在模型执行时可以分布式执行。……Critic可以使用全局的信息进行训练学习,Actor使用局部观测信息,MADDPG中,因为可以知道所有智能体动作,环境就可以保持稳定