知识卡片
无模型与有模型强化学习
区分有模型与无模型的标准是:马尔科夫决策过程的转移概率与奖励函数是否已知。有模型时可用动态规划解析地计算值函数;无模型时这些量未知,只能靠与环境交互产生的样本来估计。两者的总体框架其实相同,都是广义策略迭代——先做策略评估算值函数,再用值函数做策略改善,区别只在值函数怎么算。无模型的两条主要路线是蒙特卡罗方法和时间差分方法。这个区分的价值在于,它把动态规划的直觉迁移到采样场景:算法结构不变,只替换「期望如何计算」这一环。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据
动态规划方法计算状态 处的值函数时利用了模型 ,而在无模型强化学习中,模型 是未知的。无模型的强化学习算法要想利用策略评估和策略改善的框架,必须采用其他的方法评估当前策略(计算值函数)。
参考来源
- 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html)
- 结论依据:原文指出动态规划计算状态值函数时利用了模型,而无模型强化学习中模型未知,必须采用其他方法评估当前策略,并说明无模型强化学习的基本思想仍是策略评估与策略改善。
- 原始内容:动态规划方法计算状态 处的值函数时利用了模型 ,而在无模型强化学习中,模型 是未知的。无模型的强化学习算法要想利用策略评估和策略改善的框架,必须采用其他的方法评估当前策略(计算值函数)。