← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9876.a · 生成模型:Hunyuan

确定性与随机策略之别

理解等级:中级

随机策略把动作表示为条件概率分布 π(a|s;θ),例如高斯策略下在状态 s 采样的动作服从均值 μ、方差 σ² 的正态分布,因此同一状态不同次采样得到的动作往往不同;确定性策略 μ(s) 则在给定状态与参数时输出唯一动作。二者的核心取舍是探索与效率:随机策略自带探索,同一策略能产生多条不同轨迹,从中挑好轨迹改进策略,理论成熟、计算简单,但策略梯度要对状态分布和动作分布双重积分、需大量样本;确定性策略动作唯一,省去动作空间积分,样本需求小,对多关节机器人等高维动作空间尤其有利,效率通常高约十倍,代价是无法自行探索——固定初始状态下轨迹永远相同。小演算:若动作空间每维取 10 个离散值、共 6 维,随机策略需覆盖约 10⁶ 个动作组合,确定性策略每步只评估一个动作,差距正比于动作空间规模。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html) - 结论依据:原文分别给出随机与确定性策略公式,指出同一状态下前者动作可能不同、后者唯一确定,并从采样积分需求、探索能力、效率约十倍等方面对比优劣。 - 原始内容:和随机策略不同,相同的策略(即 相同时),在状态为s时,动作是唯一确定的。 我们比较一下随机策略和确定性策略的优缺点。 确定性策略的优点在于需要采样的数据少,算法效率高。