知识卡片
特征期望
未知的回报函数一般设为状态的函数,用基函数(多项式或傅里叶基底)线性逼近,待求的只是系数。把值函数按定义展开后,它等于权重与一组叫’特征期望’的量的内积;特征期望是策略在状态分布下对基函数的加权平均,所以策略一变它也随之变化。给定 m 条专家轨迹,就能统计出专家策略的特征期望。于是’找一个表现接近专家的策略’被翻译成’找一个策略,其特征期望贴近专家特征期望’——因为只要两者接近,对任意权重值函数都接近。特征期望把不可直接比较的策略行为压成了可比较的向量,是学徒学习、MMP 等方法共同的’货币’。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
通过前面引入特征期望,逆向强化学习可以转化为如下问题:寻找一个策略,使它的表现与专家策略相近。 我们可以利用特征期望来表示一个策略的好坏,要找到一个策略,使它的表现与专家策略相近,其实就是找到一个策略 的特征期望与专家策略的特征期望相近
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文引入特征期望后把逆向强化学习转成'寻找策略使特征期望与专家相近'的问题,并说明特征期望与策略相关。
- 原始内容:通过前面引入特征期望,逆向强化学习可以转化为如下问题:寻找一个策略,使它的表现与专家策略相近。 我们可以利用特征期望来表示一个策略的好坏,要找到一个策略,使它的表现与专家策略相近,其实就是找到一个策略 的特征期望与专家策略的特征期望相近