知识卡片
协作需中央评判
让多个智能体各自用 DDPG 训练时,每个智能体的策略都在变化,彼此面对的环境就不稳定。MADDPG 的做法是汇总各智能体的子策略,形成中央评判网络:每个智能体的训练方式与 DDPG 类似,但它的 Critic 输入除了自己的状态和动作,还包括其他智能体的数据,从而得到稳定的评价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第10章《开发群体智能仿真对抗系统》(源文件:_epub-src/OEBPS/Text/chapter10-5-1.xhtml)
- 结论依据:原文说明多个智能体都用DDPG训练时,因每个智能体采用不断变化的策略,彼此无法得到稳定的环境;MADDPG汇总K个子策略形成中央评判网络Critic,每个智能体的Critic输入除自己的state-action外还接收其他智能体的数据。
- 原始内容:在实际应用中,当多个智能体都使用DDPG算法进行训练时,智能体之间相互无法得到稳定的环境,因为每个智能体采用不断变化的策略。……每个智能体的Critic输入,除了自己的state-action数据,还需要接收其他额外的智能体数据。