知识卡片
结构化分类
MMP 的约束变量是策略,每轮都要迭代求 MDP 的解,而 MDP 解的维数等于状态维数,计算很贵。结构化分类另辟蹊径:对动作空间很小的问题(如网格世界只有上下左右四个动作),最终策略无非是给每个状态挑一个最优动作;把每个动作看成一个类标签,策略就是把所有状态分成几类,分类用值函数表示,最好的分类对应最大的值函数。它引入特征函数——第 i 个元素可理解为立即回报取第 i 个基函数时的值函数,行为值函数是这类值函数的线性组合,并用蒙特卡罗估计专家轨迹相关量。与 MMP 相比,它约束的是每个状态处的每个动作而不是一个完整的 MDP 解,计算量小得多,这是’换约束粒度’换取效率的典型手法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
为了避免迭代计算MDP解,我们可以这样考虑问题:对于一个行为空间很小的问题(比如网格世界,状态空间可以有很多,但行为空间只有上下左右四个动作),最终的策略其实是找到每个状态所对应的最优动作。
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文说明结构化分类为避免迭代计算 MDP 解而把动作当类标签,并对比它约束每状态每动作、计算量小于 MMP。
- 原始内容:为了避免迭代计算MDP解,我们可以这样考虑问题:对于一个行为空间很小的问题(比如网格世界,状态空间可以有很多,但行为空间只有上下左右四个动作),最终的策略其实是找到每个状态所对应的最优动作。