← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9878.f · 生成模型:Hunyuan

结构化分类

理解等级:中级

MMP 的约束变量是策略,每轮都要迭代求 MDP 的解,而 MDP 解的维数等于状态维数,计算很贵。结构化分类另辟蹊径:对动作空间很小的问题(如网格世界只有上下左右四个动作),最终策略无非是给每个状态挑一个最优动作;把每个动作看成一个类标签,策略就是把所有状态分成几类,分类用值函数表示,最好的分类对应最大的值函数。它引入特征函数——第 i 个元素可理解为立即回报取第 i 个基函数时的值函数,行为值函数是这类值函数的线性组合,并用蒙特卡罗估计专家轨迹相关量。与 MMP 相比,它约束的是每个状态处的每个动作而不是一个完整的 MDP 解,计算量小得多,这是’换约束粒度’换取效率的典型手法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      为了避免迭代计算MDP解,我们可以这样考虑问题:对于一个行为空间很小的问题(比如网格世界,状态空间可以有很多,但行为空间只有上下左右四个动作),最终的策略其实是找到每个状态所对应的最优动作。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文说明结构化分类为避免迭代计算 MDP 解而把动作当类标签,并对比它约束每状态每动作、计算量小于 MMP。 - 原始内容:为了避免迭代计算MDP解,我们可以这样考虑问题:对于一个行为空间很小的问题(比如网格世界,状态空间可以有很多,但行为空间只有上下左右四个动作),最终的策略其实是找到每个状态所对应的最优动作。