返回主题:强化学习与多智能体

知识卡片

普通读书笔记卡 · 2797.d

QMix单调分解

理解等级:未标注

多个智能体联合行动时,Q 函数的联合动作空间随智能体数量指数增长,传统 Q-learning 不再适用;其他智能体的策略又在不断变化,难以收敛。QMix 用集中式学习把联合动作值分解为各智能体的局部 Q 值,并约束二者单调一致,于是各智能体贪心选出的局部最优动作就对应全局最优,计算量只随智能体数量线性增长。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第8章《对抗和群体智能博弈》(源文件:_epub-src/OEBPS/Text/chapter8-4.xhtml) - 结论依据:原文说明多智能体联合动作时Q函数联合动作空间随智能体数量指数增长;且其他智能体策略不断变化,难以收敛;QMix用集中式学习把联合动作值函数分解为局部函数,满足单调性即可用各自贪心获得局部最优动作,智能体增长时计算量只线性增长。 - 原始内容:在经典的Q-learning算法中,当多个智能体联合进行动作时,随着智能体数量的上升,Q函数的联合动作空间呈现指数级别增长……QMix的算法通过arg max操作计算量,当智能体增长时,计算量只会呈线性增长,避免了指数效应,极大地提高了算法效率。