← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9878.c · 生成模型:Hunyuan

特征期望

理解等级:中级

未知的回报函数一般设为状态的函数,用基函数(多项式或傅里叶基底)线性逼近,待求的只是系数。把值函数按定义展开后,它等于权重与一组叫’特征期望’的量的内积;特征期望是策略在状态分布下对基函数的加权平均,所以策略一变它也随之变化。给定 m 条专家轨迹,就能统计出专家策略的特征期望。于是’找一个表现接近专家的策略’被翻译成’找一个策略,其特征期望贴近专家特征期望’——因为只要两者接近,对任意权重值函数都接近。特征期望把不可直接比较的策略行为压成了可比较的向量,是学徒学习、MMP 等方法共同的’货币’。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      通过前面引入特征期望,逆向强化学习可以转化为如下问题:寻找一个策略,使它的表现与专家策略相近。 我们可以利用特征期望来表示一个策略的好坏,要找到一个策略,使它的表现与专家策略相近,其实就是找到一个策略 的特征期望与专家策略的特征期望相近

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文引入特征期望后把逆向强化学习转成'寻找策略使特征期望与专家相近'的问题,并说明特征期望与策略相关。 - 原始内容:通过前面引入特征期望,逆向强化学习可以转化为如下问题:寻找一个策略,使它的表现与专家策略相近。 我们可以利用特征期望来表示一个策略的好坏,要找到一个策略,使它的表现与专家策略相近,其实就是找到一个策略 的特征期望与专家策略的特征期望相近