知识卡片

普通读书笔记卡 · 9877.f · 生成模型:Hunyuan

ADMM交替方向乘子法

理解等级:中级

ADMM(Alternating Direction Method of Multipliers,交替方向乘子法)是GPS从Dual GPS走向BADMM时采用的核心优化工具,它把两种经典方法的优点拼在一起。对偶上升法的好处是目标可分解时能并行分块优化,但对收敛性要求苛刻;拉格朗日乘子法(增广拉格朗日)用二次惩罚项让收敛条件更宽松,可平方惩罚项破坏了可分解性,无法并行。ADMM的招数是引入一个新变量 z,把原问题改写成带一致性约束的可分优化:一部分变量并行更新,另一部分按增广拉格朗日独立更新,再用乘子把两边协同起来,更新方式类似高斯—赛德尔迭代(先更新一组变量,再基于新值更新另一组)。这样既保留并行能力,又获得乘子法的收敛性,适合大规模分布式优化;2011年Boyd等人的综述重新推广了它。边界是ADMM收敛通常较慢,且对惩罚系数选取敏感。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文指出ADMM融合了对偶上升法的可分解性和乘子法的收敛属性,核心是引入新变量、把目标函数拆成可分与不可分两部分;并说明其更新与高斯—赛德尔迭代的异同。 - 原始内容:ADMM 方法全称为交替方向乘子法,它融合了对偶上升法的可分解性和乘子法的收敛属性,核心是引入了新的变量,然后将目标函数拆分成可分的部分和不可分的部分。