← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.i · 生成模型:Hunyuan

常用随机策略

理解等级:中级

随机策略的选择就是在利用已知最优与探索未知之间权衡。其一,贪婪策略是确定性策略:只在使 Q*(s,a) 最大的动作上取概率 1,其余为 0,纯利用无探索。其二,ε-greedy 以概率 1-ε 选最优动作(利用)、以概率 ε 在所有动作中均匀随机选(探索),是最基本最常用的随机策略,用 ε 显式控制探索强度。其三,高斯策略写成 a=μ(s)+σ·噪声,其中 μ(s) 为确定性部分负责利用,零均值高斯噪声负责探索,因能输出连续动作而在连续控制中广泛使用。其四,玻尔兹曼分布按 P(a|s) 正比于 exp(Q(s,a)/τ) 分配概率:Q 大的动作被选概率高、小的低,以温度参数 τ 平滑兼顾利用与探索,适合动作空间离散且不大的情形。小演算:ε=0.2、共 5 个动作时探索总概率 0.2 均分每个 0.04,最优动作总概率=0.8+0.04=0.84。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 马尔科夫决策过程 · 查看原书依据

      ε-greedy策略是强化学习最基本最常用随机策略。其含义是选取使得动作值函数最大的动作的概率为 ,而其他动作的概率为等概率,都为 。ε-greedy平衡了利用(exploitation)和探索(exploration),其中选取动作值函数最大的部分为利用,其他非最优动作仍有概率为探索部分。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文分别介绍贪婪策略、ε-greedy、高斯策略与玻尔兹曼分布,并点明各自如何利用/探索及适用场景。 - 原始内容:ε-greedy策略是强化学习最基本最常用随机策略。其含义是选取使得动作值函数最大的动作的概率为 ,而其他动作的概率为等概率,都为 。ε-greedy平衡了利用(exploitation)和探索(exploration),其中选取动作值函数最大的部分为利用,其他非最优动作仍有概率为探索部分。