知识卡片
cGPS的KL散度目标
基于约束的GPS(cGPS)把强化学习目标写成一个KL散度最小化问题,初看很反直觉,因为常规强化学习是最大化回报。符号上,设 q 是待优化的最优控制分布(由策略诱导出的轨迹分布),KL 度量 q 与参考分布之间的距离;把 KL 展开并忽略常数后,目标等价于最大化累积回报的期望再加上最大化 q 的熵。第一项就是熟悉的强化学习目标;第二项最大化熵,是为了让最优控制解保持为一个分布而不是坍缩成单一确定动作——熵是不确定性的度量,分布越分散熵越大。直觉上,这在拿高回报和别过早锁死之间取平衡,保留探索性。做个小演算:某状态两个动作回报分别为10和0,只最大化回报会百分之百选前者(熵为0);带熵正则后分布可能是0.9比0.1,熵大于0,仍保留少量尝试其他动作的可能,训练更稳。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 基于引导策略搜索的强化学习方法 · 查看原书依据
第一项为分布q的熵,第二项为累积回报的期望。(10.1)式最小化目标函数相当于最大化累积回报和最大化熵。这里熵是不确定性的度量,不确定越大,熵越大。此处的最大化熵是为了保证最优控制分布是一个分布,而非一个确定值。
参考来源
- 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html)
- 结论依据:原文明确写道第一项为分布q的熵、第二项为累积回报的期望,并解释最小化目标函数相当于最大化累积回报和最大化熵,且指出最大化熵是为了保证最优控制分布是一个分布而非一个确定值。
- 原始内容:第一项为分布q的熵,第二项为累积回报的期望。(10.1)式最小化目标函数相当于最大化累积回报和最大化熵。这里熵是不确定性的度量,不确定越大,熵越大。此处的最大化熵是为了保证最优控制分布是一个分布,而非一个确定值。