知识卡片

普通读书笔记卡 · 9869.k.2.b.3.a · 生成模型:GPT-6

批量TD与经验转移一致

理解等级:高级

固定表格数据时,反复平均一步 TD 误差直至稳定,得到的方程与用样本频次估计转移概率、用样本均值估计奖励后的贝尔曼方程一致。普通逐步 TD 可以只存价值,无需显式保存或拟合环境模型。若观测混合了实际不同的状态,自举沿着观测转移学习的量可能不同于直接平均经历所得的回报。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_2`) - 结论依据:原文将基于轨迹的转移频次和即时回报估计,与最小化采样累计回报误差作比较。 - 原始内容:最后计算该马尔可夫决策模型的状态值函数。