← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.2.b · 生成模型:GPT-6

蒙特卡罗用完整回报评估

理解等级:中级

先让固定策略产生完整回合,再从每个被访问的状态反向累加该时刻之后的折扣奖励。把多条回合中同一状态对应的回报取均值,就可近似策略的价值,即使不知道转移概率和奖励模型。初访只使用每个回合该状态第一次出现的样本,每访使用全部样本。两种方式都需要状态被反复访问。一个回合内部的多个样本通常相关。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 蒙特卡罗 4.2 蒙特卡罗评估 · 查看原书依据

      可见,值函数、行为值函数的计算实际上是计算累计回报的期望。在没有模型时,我们可以采用蒙特卡罗方法进行采样,产生经验性信息。这些经验性信息经验性地推导出每个状态s的平均回报,以此来替代回报的期望,而后者就是状态值函数。状态值函数的估计通常需要掌握完整的轨迹才能准确计算得到。

    参考来源

    - 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_2`) - 结论依据:原文先从期望回报定义转向经验平均,再按一个回合内状态多次出现的情形区分初访与每访。 - 原始内容:可见,值函数、行为值函数的计算实际上是计算累计回报的期望。在没有模型时,我们可以采用蒙特卡罗方法进行采样,产生经验性信息。这些经验性信息经验性地推导出每个状态s的平均回报,以此来替代回报的期望,而后者就是状态值函数。状态值函数的估计通常需要掌握完整的轨迹才能准确计算得到。