知识卡片
策略搜索方法谱系
策略搜索方法可按两条轴分类:是否使用环境模型(无模型/基于模型),以及策略是随机还是确定性。无模型的随机策略搜索里最早发展的是策略梯度方法,它用似然比估计梯度;为解决学习率难以确定的问题,又分化出基于统计学习和基于路径积分的方法。TRPO 并不回避学习率问题,而是构造替代损失函数,在每个局部点求使损失单调非增的最优步长。确定性策略搜索、基于模型的搜索是另外的分支,逆向强化学习则属从示范反推回报的相关方向。这张谱系图用于定位本章主题:策略梯度是随机、无模型分支的起点,后续章节的方法大多围绕它的局限展开。
结构图:
flowchart TD
A[策略搜索方法] --> B[基于模型]
A --> C[无模型]
C --> D[随机策略搜索]
C --> E[确定性策略搜索]
D --> F[策略梯度方法]
D --> G[基于统计学习]
D --> H[基于路径积分]
F --> I[TRPO 替代损失最优步长]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 基于策略梯度的强化学习方法 · 查看原书依据
策略搜索方法按照是否利用模型可分为无模型的策略搜索方法和基于模型的策略搜索方法。其中无模型的策略搜索方法根据策略是采用随机策略还是确定性策略可分为随机策略搜索方法和确定性策略搜索方法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html)
- 结论依据:原文按是否利用模型、随机与确定性两级划分策略搜索,并说明策略梯度、统计学习、路径积分、TRPO 等在谱系中的位置与提出动机。
- 原始内容:策略搜索方法按照是否利用模型可分为无模型的策略搜索方法和基于模型的策略搜索方法。其中无模型的策略搜索方法根据策略是采用随机策略还是确定性策略可分为随机策略搜索方法和确定性策略搜索方法。