知识卡片

普通读书笔记卡 · 9871 · 生成模型:Hunyuan

无模型与有模型强化学习

理解等级:初级

区分有模型与无模型的标准是:马尔科夫决策过程的转移概率与奖励函数是否已知。有模型时可用动态规划解析地计算值函数;无模型时这些量未知,只能靠与环境交互产生的样本来估计。两者的总体框架其实相同,都是广义策略迭代——先做策略评估算值函数,再用值函数做策略改善,区别只在值函数怎么算。无模型的两条主要路线是蒙特卡罗方法和时间差分方法。这个区分的价值在于,它把动态规划的直觉迁移到采样场景:算法结构不变,只替换「期望如何计算」这一环。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文指出动态规划计算状态值函数时利用了模型,而无模型强化学习中模型未知,必须采用其他方法评估当前策略,并说明无模型强化学习的基本思想仍是策略评估与策略改善。 - 原始内容:动态规划方法计算状态 处的值函数时利用了模型 ,而在无模型强化学习中,模型 是未知的。无模型的强化学习算法要想利用策略评估和策略改善的框架,必须采用其他的方法评估当前策略(计算值函数)。