知识卡片
后继状态分布四步计算
把一步状态分布推进到下一步要分四阶段。①从当前状态分布经参数化策略得动作分布:线性策略 a=θᵀx+b 把高斯状态映射为高斯动作,再用正弦函数把动作压到有界区间并做高斯逼近,以兼顾速度、力矩约束。②求状态与动作的联合分布,其中正弦变换后的协方差需专门推导,证明靠‘去相关’把相关高斯分量变成独立分量、互协方差为零。③把联合分布作为高斯回归的输入,先做单变量预测得均值与方差,再扩展到多变量输出的协方差矩阵,非对角项体现输出间相关性。④由差分关系 Δ=x(t+1)−x(t) 得后继状态的高斯分布,其均值与协方差由输出协方差和输入输出协方差共同决定。四步串起来便得到从 p(x(t)) 到 p(x(t+1)) 的完整解析传递。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
经过①~④四个步骤,我们得到后继状态 的分布 ,将 作为输入再计算 的状态分布,以此类推,计算得到所有后继状态的分布 。最后计算策略评估时,要将所有的状态分布乘以相应的回报函数累加起来。
参考来源
- 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html)
- 结论依据:正文把后继状态分布的计算明确拆成①到④四个阶段,并给出去相关操作的证明与正弦约束方法。
- 原始内容:经过①~④四个步骤,我们得到后继状态 的分布 ,将 作为输入再计算 的状态分布,以此类推,计算得到所有后继状态的分布 。最后计算策略评估时,要将所有的状态分布乘以相应的回报函数累加起来。