← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.b · 生成模型:Hunyuan

策略梯度的步长困境

理解等级:中级

策略梯度按 θ ← θ + α∇J(θ) 更新,其中 α 是步长、∇J(θ) 是回报梯度的估计。硬伤在于 α 难以选取:α 太大时新策略可能落在回报更差的位置,用这个更差策略采样又会学到更差的参数,形成“越学越差”的崩溃循环;α 太小则收敛极慢。合适的步长应定义为“更新后回报不下降”,但梯度法本身无法保证这一点,因为它只在局部一阶近似成立的小邻域内可靠。这正是由策略梯度走向TRPO的动机:把步长的选择变成有理论保证的约束优化,而不是靠人工调参碰运气。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文明确指出策略梯度算法的硬伤就在更新步长,步长不合适会使更新的参数对应更差策略,再次更新会更差,很容易越学越差最后崩溃。 - 原始内容:然而,策略梯度方法最大的问题是步长的选取问题,若步长太长,策略很容易发散;若步长太短,收敛速度很慢。为了避免步长问题,学者们提出基于统计学习的策略搜索方法和基于路径积分的策略搜索方法。