知识卡片
策略评估与自举
策略评估要回答:固定一个策略π,它到底有多好?推导分两步。状态s的值等于在该状态下按π选取各动作的动作值之和:vπ(s)=Σa π(a|s)·qπ(s,a);而动作值等于立即回报加上折扣后的后继状态值:qπ(s,a)=r(s,a)+γΣ{s′}P(s′|s,a)vπ(s′)。把第二式代入第一式,得到vπ(s)=Σa π(a|s)[r(s,a)+γΣ{s′}P(s′|s,a)vπ(s′)]:当前状态的值要用后继状态的值来定义,这种自己抬自己的结构就是自举(bootstrapping)。做个小演算:两个状态、每步回报-1、γ=0.5、策略固定,则v(1)=-1+0.5v(2)、v(2)=-1+0.5v(1),联立可得两状态值都约为-2。由于r、P、γ和π都已知,唯一未知的是各状态的值,方程个数正好等于状态总数|S|,因此策略评估本质上是解一个|S|元线性方程组,通常用迭代法逐次扫描逼近,而不是一次矩阵求逆。它与蒙特卡洛方法的区别在于:后者用完整采样回报估计值,不做自举。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 基于模型的动态规划方法 · 查看原书依据
状态s 处的值函数υπ (s),可以利用后继状态的值函数υπ (s′)来表示。可是有人会说,后继状态的值函数υπ (s′)也是未知的,那么怎么计算当前状态的值函数,这不是自己抬自己吗?如图3.4所示。没错,这正是bootstrapping算法(自举算法)!
参考来源
- 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html)
- 结论依据:原文推导vπ(s)可由后继状态vπ(s′)表示,并以“这不是自己抬自己吗”点出自举本质,明确指出方程中唯一未知数是值函数、未知数个数为状态总数,构成线性方程组。
- 原始内容:状态s 处的值函数υπ (s),可以利用后继状态的值函数υπ (s′)来表示。可是有人会说,后继状态的值函数υπ (s′)也是未知的,那么怎么计算当前状态的值函数,这不是自己抬自己吗?如图3.4所示。没错,这正是bootstrapping算法(自举算法)!