知识卡片
策略搜索方法分类
直接策略搜索方法可按两条轴分类:第一条是模型是否已知,分为无模型(model-free)与基于模型(model-based)的策略搜索;第二条是在无模型内部按策略是否随机,分为随机策略搜索与确定性策略搜索。随机策略搜索中最先发展起来的是策略梯度方法,但它受制于步长选择;基于统计学习的方法与基于路径积分的方法虽能绕开显式步长,却牺牲了梯度法处理大规模问题的优势。TRPO的定位是正面解决步长问题,而不是回避它,因此属于随机策略搜索里对策略梯度缺陷的直接改进路线。
结构图:
flowchart TD
A[策略搜索 Policy Search] --> B[无模型 Model-Free]
A --> C[基于模型 Model-Based]
B --> D[随机策略 Stochastic]
B --> E[确定性策略 Deterministic]
D --> F[策略梯度 Policy Gradient]
D --> G[统计学习 Statistical Learning]
D --> H[路径积分 Path Integral]
F --> I[TRPO 置信域策略优化]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
如图8.1所示为直接策略搜索方法的分类,根据模型是否已知,策略搜索方法分为无模型的策略搜索方法和基于模型的策略搜索方法。在无模型的策略搜索方法中,根据策略是否随机可以分为随机策略搜索方法和确定性策略搜索方法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文以图8.1给出该分类树,并逐一说明各分支的代表方法与优缺点,特别点明TRPO不回避更新步长的问题,而是正面解决它。
- 原始内容:如图8.1所示为直接策略搜索方法的分类,根据模型是否已知,策略搜索方法分为无模型的策略搜索方法和基于模型的策略搜索方法。在无模型的策略搜索方法中,根据策略是否随机可以分为随机策略搜索方法和确定性策略搜索方法。