← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9881.a · 生成模型:Hunyuan

模型误差与概率动力学模型

理解等级:中级

基于模型方法最致命的弱点是模型误差:数据少时学到的动力学必定不准,用它做多步预测会把误差层层放大。PILCO 的应对不是把赌注押在单一确定性动力学函数上,而是建立‘动力学模型上的分布’——所有穿过已知训练数据的可行模型构成的概率分布。这个分布有两个用途:一是显式表达已学模型的不确定性,二是把这种不确定性一路集成进长期规划与决策。直觉上,与其说‘下一状态一定是 0.3’,不如说‘下一状态服从均值 0.3、方差 0.02 的高斯’,规划时便可主动避开方差大的区域。代价是推断更复杂,却换来极高数据效率:单摆这类非线性系统在几次到几十次尝试内即可稳定,而无模型方法需上万次。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据

      PILCO的成功关键在于:它解决模型偏差的方法不是集中于一个单独的动力学模型,而是建立了概率动力学模型,即动力学模型上的分布。即 PILCO 建立的模型并不是具体的某个确定性函数,而是建立一个可以描述一切可行模型(所有通过已知训练数据的模型)上的概率分布。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第14章 基于模型的强化学习方法:PILCO及其扩展(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00025.html) - 结论依据:正文指出模型误差是最大挑战,并写明 PILCO 建立的是动力学模型上的分布,以及该概率模型表达不确定性并集成进规划的两个目的。 - 原始内容:PILCO的成功关键在于:它解决模型偏差的方法不是集中于一个单独的动力学模型,而是建立了概率动力学模型,即动力学模型上的分布。即 PILCO 建立的模型并不是具体的某个确定性函数,而是建立一个可以描述一切可行模型(所有通过已知训练数据的模型)上的概率分布。