← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9871.c · 生成模型:Hunyuan

首次访问与每次访问MC方法

理解等级:中级

这是对一幕中状态 s 的回报如何计入平均的两种统计口径。首次访问(first-visit):一幕里状态 s 第一次出现时才记录其回报参与平均;每次访问(every-visit):s 每次出现都记录回报。若一幕中 s 重复出现,两者纳入平均的样本数不同,但根据大数定律,只要访问次数趋于无穷,它们都收敛到真实值函数 V(s)。首次访问因样本更独立、计算更省而更常用。结合 [[蒙特卡罗策略评估]] 看,二者只是「哪些回报算作样本」的差异,估计思想完全一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据

      利用蒙特卡罗方法求状态 处的值函数时,又可以分为第一次访问蒙特卡罗方法和每次访问蒙特卡罗方法。 第一次访问蒙特卡罗方法是指在计算状态 处的值函数时,只利用每次试验中第一次访问到状态 时的返回值。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文分别定义了第一次访问与每次访问蒙特卡罗方法,并指出每次访问方法依据大数定律收敛,是 [[蒙特卡罗策略评估]] 中平均环节的两种实现方式。 - 原始内容:利用蒙特卡罗方法求状态 处的值函数时,又可以分为第一次访问蒙特卡罗方法和每次访问蒙特卡罗方法。 第一次访问蒙特卡罗方法是指在计算状态 处的值函数时,只利用每次试验中第一次访问到状态 时的返回值。