返回主题:强化学习与多智能体

知识卡片

普通读书笔记卡 · 3744.f

信息素限幅抑制路径垄断

理解等级:中级

“停滞”指蚂蚁都集中到同一条路线、不再探索新解。最大最小蚂蚁系统(MMAS)针对它做了两件事:

  • 限幅:每条路径的信息素限制在 [τmin, τmax] 内,高于上限的压回 τmax,低于下限的抬到 τmin。这样任何一条路线都不会因反复强化而独占,弱路线也保留非零的被选概率。
  • 只强化最好路径:每轮循环只更新最好路径上的信息素,更充分地利用历史信息,加快收敛。

示例(补充演示,数值为假设):若范围为 [0.1, 5],某边累积到 5.8 就截为 5,另一边挥发到 0.03 就抬为 0.1。

前一项防止过度集中,后一项又加强集中,上下限怎么设决定了两者的平衡,不能把限幅当作消除停滞的保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 5 . 2 . 2 离 散 域 和 连 续 域 蚁 群 算 法 · 查看原书依据

      针对蚁群算法停滞的缺点,Stutzle和Hoos提出了最大最小蚂蚁系统[22],其基本思想就是将每条路径上的信息量限制在[τ,τ],若超出这个范围则把信息素分别调整为τ或者τ,避免单一路径信息素的积累而使蚂蚁过于集中,导致算法停滞现象的产生。

    参考来源

    - 位置:《智能算法导论》第 5 章“5.2.2 离散域和连续域蚁群算法”(`_epub-src/EPUB/xhtml/chapter5_0004.xhtml`)。 - 结论依据:正文给出 MMAS 的信息素上下限和越界裁剪,并说明每轮只更新最好路径。[0.1, 5] 的数值为补充教学示例,非书中数据。 - 原始内容:其基本思想就是将每条路径上的信息量限制在[ τ , τ ],若超出这个范围则把信息素分别调整为 τ 或者 τ ,避免单一路径信息素的积累而使蚂蚁过于集中