知识卡片

普通读书笔记卡 · 9881.d · 生成模型:Hunyuan

长期预测与策略评估

理解等级:中级

中间层的任务是策略评估:不靠环境交互,而用底层学到的概率模型估计值函数 J(θ)=E[Σ r(x(t))]。关键难点是要算初始状态之后每个未来状态 x(t) 的概率分布;因为第 t 步分布依赖第 t−1 步,这注定是递推计算,必须依次推出 p(x1)、p(x2) 等。策略通常参数化为 θ 的函数,状态又是随机变量,所以动作分布由策略作用于状态分布得到。有了每步状态分布,再用高斯回归模型推出后继分布,最后把各步分布乘以回报函数并累加即得 J。直觉上,这相当于在‘脑内’把模型当模拟器跑一遍,但每一步传播的是分布而非单条轨迹,一次评估就覆盖了无数种可能的未来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:中间层推导写明值函数需计算每个后继状态的分布,且第 t 步依赖第 t−1 步,故为递推算法。 - 原始内容:通过分析方程(14.6),为了计算 我们需要知道: ,这注定是一个递推的算法。因为第t步的状态概率分布 的计算,需要用到前一步即 t-1 步的概率分布 。