知识卡片
确定性与随机策略之别
随机策略把动作表示为条件概率分布 π(a|s;θ),例如高斯策略下在状态 s 采样的动作服从均值 μ、方差 σ² 的正态分布,因此同一状态不同次采样得到的动作往往不同;确定性策略 μ(s) 则在给定状态与参数时输出唯一动作。二者的核心取舍是探索与效率:随机策略自带探索,同一策略能产生多条不同轨迹,从中挑好轨迹改进策略,理论成熟、计算简单,但策略梯度要对状态分布和动作分布双重积分、需大量样本;确定性策略动作唯一,省去动作空间积分,样本需求小,对多关节机器人等高维动作空间尤其有利,效率通常高约十倍,代价是无法自行探索——固定初始状态下轨迹永远相同。小演算:若动作空间每维取 10 个离散值、共 6 维,随机策略需覆盖约 10⁶ 个动作组合,确定性策略每步只评估一个动作,差距正比于动作空间规模。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 基于确定性策略搜索的强化学习方法 · 查看原书依据
和随机策略不同,相同的策略(即 相同时),在状态为s时,动作是唯一确定的。 我们比较一下随机策略和确定性策略的优缺点。 确定性策略的优点在于需要采样的数据少,算法效率高。
参考来源
- 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html)
- 结论依据:原文分别给出随机与确定性策略公式,指出同一状态下前者动作可能不同、后者唯一确定,并从采样积分需求、探索能力、效率约十倍等方面对比优劣。
- 原始内容:和随机策略不同,相同的策略(即 相同时),在状态为s时,动作是唯一确定的。 我们比较一下随机策略和确定性策略的优缺点。 确定性策略的优点在于需要采样的数据少,算法效率高。