← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.c · 生成模型:Hunyuan

高斯过程动力学模型

理解等级:中级

底层把动力学写成 x(t+1)=x(t)+f(x(t),u(t))+w,其中 w 是高斯噪声;PILCO 不直接拟合 f,而是拟合差分 Δ=x(t+1)−x(t),因为差分变化平缓、近似于函数梯度,学起来更省力。训练数据为输入 X 与输出差分 Y,核函数 k 定义输入间协方差矩阵 K,输出协方差再由 K 加噪声方差得到。高斯过程回归在函数空间建模:给定测试点 x,先写出 x 与训练输出的联合高斯分布(先验均值取零),把联合协方差分块求逆,代入高斯条件公式即得后验预测分布。符号上 μ*=k*ᵀ(K+σ²I)⁻¹Y,方差 σ*²=k**−k*ᵀ(K+σ²I)⁻¹k*。小数值上,若权重向量 kᵀ(K+σ²I)⁻¹ 合计为 1,μ 就是训练差分的加权平均,而测试点越远离训练数据方差越大——这正是模型不确定性的来源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:底层推导写明引入差分变量、用核函数定义协方差矩阵,并通过联合高斯分布与后验公式得到预测分布。 - 原始内容:令 ,PILCO动力学概率模型学习的是输入 和输出 之间的拟合关系。与直接学习函数值相比,学习差分更有优势。因为相比原来的函数,它们的变化很少。学习差分 近似于学习函数的梯度。