← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9874 · 生成模型:Hunyuan

值函数与策略搜索之别

理解等级:中级

值函数方法先评估每个状态或状态-动作对的价值,再由值函数导出策略:最优策略是取使动作值函数最大的动作,本质是从状态空间到有限动作空间的映射。直接策略搜索则把策略本身参数化为 π(a|s;θ),用线性函数或神经网络表示,直接在参数空间更新 θ,直到累积回报的期望 J(θ) 最大。二者的根本差别在迭代对象:前者迭代值函数再改善策略,后者直接迭代策略参数。策略搜索的优势是参数化更简单、收敛性更好,且能自然处理很大或连续的动作空间——值函数方法求最优策略需要对动作求最大值,连续动作下往往无法有效求解;随机策略还把探索内建在策略之中。代价是更容易陷入局部极小、单条轨迹评估方差大。可迁移的启发是:当动作是连续向量或动作维数很高时,优先想到参数化策略而不是值函数逼近。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 基于策略梯度的强化学习方法 · 查看原书依据

      在值函数的方法中,我们迭代计算的是值函数,再根据值函数改善策略;而在策略搜索方法中,我们直接对策略进行迭代计算,也就是迭代更新策略的参数值,直到累积回报的期望最大,此时的参数所对应的策略为最优策略。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html) - 结论依据:原文先说明值函数方法迭代值函数、策略搜索直接迭代参数,随后列出策略搜索在大动作空间、连续动作与探索上的优势,以及易收敛到局部极小、方差较大的缺点。 - 原始内容:在值函数的方法中,我们迭代计算的是值函数,再根据值函数改善策略;而在策略搜索方法中,我们直接对策略进行迭代计算,也就是迭代更新策略的参数值,直到累积回报的期望最大,此时的参数所对应的策略为最优策略。