知识卡片

普通读书笔记卡 · 9872.b · 生成模型:Hunyuan

三种值函数估计的异同

理解等级:高级

动态规划(DP)、蒙特卡罗(MC)、时间差分(TD)估计值函数的差别集中在两点:是否自举、后继状态从哪里来。MC使用值函数最原始的定义,用整幕所有回报的累积和估计,不自举、必须等到终止状态;DP和TD都做一步预测并自举,分歧在于DP靠模型计算后继状态,TD靠试验采样得到后继状态。从统计角度看,MC的返回值期望等于真值,是无偏估计,但一幕中要经历大量随机状态与动作、随机性极大,方差无穷大;TD目标的下一状态用的是估计值,因此是有偏估计,但只涉及一步随机、方差显著更小。这构成一组偏差—方差权衡:TD牺牲无偏性换取更低方差和更快学习,在样本有限时往往更有效;MC虽无偏却因高方差而学习效率不高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 基于时间差分的强化学习方法 · 查看原书依据

      从中可以看到,蒙特卡罗的方法使用的是值函数最原始的定义,该方法利用所有回报的累积和估计值函数;动态规划方法和时间差分方法则利用一步预测方法计算当前状态值函数,它俩的共同点是利用了bootstrapping 方法;不同的是,动态规划方法利用模型计算后继状态,时间差分方法利用试验得到后继状态。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文既对比了三者是否自举与后继状态来源,又从期望与方差角度指出蒙特卡罗无偏但方差无穷大、时间差分有偏但方差更小。 - 原始内容:从中可以看到,蒙特卡罗的方法使用的是值函数最原始的定义,该方法利用所有回报的累积和估计值函数;动态规划方法和时间差分方法则利用一步预测方法计算当前状态值函数,它俩的共同点是利用了bootstrapping 方法;不同的是,动态规划方法利用模型计算后继状态,时间差分方法利用试验得到后继状态。