来源书籍
深入浅出强化学习:原理入门
章节与卡片
01 第1章 绪论
12 张卡片
- 本书定位与写作特色 理解等级:初级 普通读书笔记卡
- 序贯决策问题 理解等级:中级 普通读书笔记卡
- 智能体环境交互框架 理解等级:中级 结构图卡
- 强化学习与监督学习之别 理解等级:中级 普通读书笔记卡
- 基于模型与无模型 理解等级:高级 普通读书笔记卡
- 值函数与策略搜索分类 理解等级:中级 普通读书笔记卡
- 正向与逆向强化学习 理解等级:中级 普通读书笔记卡
- 强化学习发展趋势 理解等级:高级 普通读书笔记卡
- 仿真环境两大引擎 理解等级:初级 普通读书笔记卡
- gym安装与快速上手 理解等级:中级 操作参考卡
- gym环境三函数 理解等级:中级 操作参考卡
- 本书两条主线与章节安排 理解等级:中级 结构图卡
02 第2章 马尔科夫决策过程
11 张卡片
- 强化学习交互框架 理解等级:初级 普通读书笔记卡
- 马尔科夫性 理解等级:中级 普通读书笔记卡
- 马尔科夫过程与状态转移 理解等级:中级 普通读书笔记卡
- MDP要素关系 理解等级:中级 结构图卡
- 策略与累积回报 理解等级:中级 普通读书笔记卡
- 状态值函数与状态-行为值函数 理解等级:中级 普通读书笔记卡
- 贝尔曼方程 理解等级:高级 普通读书笔记卡
- 最优值函数与贝尔曼最优方程 理解等级:高级 普通读书笔记卡
- 概率学基础 理解等级:中级 普通读书笔记卡
- 常用随机策略 理解等级:中级 普通读书笔记卡
- 基于gym的MDP实例 理解等级:中级 操作参考卡
03 第3章 基于模型的动态规划方法
10 张卡片
- 基于模型的动态规划 理解等级:中级 普通读书笔记卡
- 策略评估与自举 理解等级:中级 普通读书笔记卡
- 策略改善与贪婪策略 理解等级:中级 普通读书笔记卡
- 策略迭代算法 理解等级:中级 普通读书笔记卡
- 值迭代算法 理解等级:中级 普通读书笔记卡
- 迭代算法流程 理解等级:中级 结构图卡
- 雅克比与高斯赛德尔迭代 理解等级:中级 普通读书笔记卡
- 压缩映射证明收敛 理解等级:高级 普通读书笔记卡
- gym策略迭代实现 理解等级:中级 操作参考卡
- 最优控制与强化学习比较 理解等级:高级 普通读书笔记卡
04 第4章 基于蒙特卡罗的强化学习方法
9 张卡片
- 无模型与有模型强化学习 理解等级:初级 普通读书笔记卡
- 蒙特卡罗策略评估 理解等级:中级 普通读书笔记卡
- 探索必要性与探索性初始化 理解等级:中级 普通读书笔记卡
- 首次访问与每次访问MC方法 理解等级:中级 普通读书笔记卡
- 采样估计期望 理解等级:中级 普通读书笔记卡
- 重要性采样 理解等级:高级 普通读书笔记卡
- 同策略与异策略 理解等级:中级 普通读书笔记卡
- MCMC采样方法 理解等级:高级 普通读书笔记卡
- 蒙特卡罗编程:模拟与平均 理解等级:中级 操作参考卡
05 第5章 基于时间差分的强化学习方法
7 张卡片
- TD方法与自举 理解等级:中级 普通读书笔记卡
- TD目标与TD偏差 理解等级:中级 普通读书笔记卡
- 三种值函数估计的异同 理解等级:高级 普通读书笔记卡
- Sarsa同策略算法 理解等级:中级 普通读书笔记卡
- Qlearning异策略算法 理解等级:中级 普通读书笔记卡
- TD的前向与后向视角 理解等级:高级 普通读书笔记卡
- Python与gym编程实例 理解等级:中级 操作参考卡
06 第6章 基于值函数逼近的强化学习方法
16 张卡片
- 值函数逼近的动机 理解等级:初级 普通读书笔记卡
- 参数化逼近与监督学习 理解等级:中级 普通读书笔记卡
- 半梯度TD与批学习 理解等级:高级 普通读书笔记卡
- 线性逼近与基函数 理解等级:中级 普通读书笔记卡
- Qlearning的两大要点 理解等级:中级 普通读书笔记卡
- DQN的三大改进 理解等级:中级 普通读书笔记卡
- 经验回放机制 理解等级:中级 普通读书笔记卡
- 目标网络机制 理解等级:中级 普通读书笔记卡
- DQN变种关系图 理解等级:初级 结构图卡
- Double DQN抑制过估计 理解等级:高级 普通读书笔记卡
- 优先回放机制 理解等级:高级 普通读书笔记卡
- Dueling DQN 理解等级:高级 普通读书笔记卡
- 非参数函数逼近 理解等级:高级 普通读书笔记卡
- 神经网络即参数化基函数 理解等级:中级 普通读书笔记卡
- 反向传播算法 理解等级:高级 普通读书笔记卡
- 卷积神经网络 理解等级:中级 普通读书笔记卡
07 第7章 基于策略梯度的强化学习方法
8 张卡片
- 值函数与策略搜索之别 理解等级:中级 普通读书笔记卡
- 策略搜索方法谱系 理解等级:初级 结构图卡
- 似然比与轨迹似然率 理解等级:高级 普通读书笔记卡
- 策略梯度定理 理解等级:高级 普通读书笔记卡
- 梯度公式的直观 理解等级:中级 普通读书笔记卡
- 基线减小方差 理解等级:高级 普通读书笔记卡
- REINFORCE算法 理解等级:中级 普通读书笔记卡
- Softmax策略实现 理解等级:中级 操作参考卡
08 第8章 基于置信域策略优化的强化学习方法
14 张卡片
- TRPO的核心目标 理解等级:初级 普通读书笔记卡
- 策略搜索方法分类 理解等级:初级 结构图卡
- 策略梯度的步长困境 理解等级:中级 普通读书笔记卡
- 回报函数分解等式 理解等级:高级 普通读书笔记卡
- 优势函数 理解等级:中级 普通读书笔记卡
- 新旧策略回报差转化 理解等级:高级 普通读书笔记卡
- 固定状态分布近似 理解等级:中级 普通读书笔记卡
- 重要性采样与替代回报 理解等级:中级 普通读书笔记卡
- KL散度下界与单调性 理解等级:高级 普通读书笔记卡
- 平均KL与优化化简 理解等级:高级 普通读书笔记卡
- 共轭梯度求解更新量 理解等级:高级 普通读书笔记卡
- 熵、交叉熵与KL散度 理解等级:中级 普通读书笔记卡
- 无约束优化方法 理解等级:中级 普通读书笔记卡
- 拟牛顿法与BFGS 理解等级:高级 普通读书笔记卡
09 第9章 基于确定性策略搜索的强化学习方法
5 张卡片
- 策略搜索两条路线 理解等级:初级 普通读书笔记卡
- 确定性与随机策略之别 理解等级:中级 普通读书笔记卡
- 确定性策略梯度DPG 理解等级:高级 普通读书笔记卡
- 异策略Actor-Critic框架 理解等级:中级 结构图卡
- DDPG深度确定性策略 理解等级:高级 普通读书笔记卡
10 第10章 基于引导策略搜索的强化学习方法
8 张卡片
- GPS的控制相与监督相 理解等级:中级 结构图卡
- 无模型强化学习的数据效率困境 理解等级:高级 普通读书笔记卡
- GPS发展脉络与Levine工作 理解等级:初级 普通读书笔记卡
- cGPS的KL散度目标 理解等级:高级 普通读书笔记卡
- cGPS每步代价的推导 理解等级:高级 普通读书笔记卡
- L-BFGS有限内存优化 理解等级:中级 普通读书笔记卡
- ADMM交替方向乘子法 理解等级:中级 普通读书笔记卡
- 动量映射与信息映射 理解等级:高级 普通读书笔记卡
11 第11章 逆向强化学习
11 张卡片
- 逆向强化学习的定义 理解等级:初级 普通读书笔记卡
- 逆向强化学习的分类 理解等级:中级 结构图卡
- 模仿学习与逆强化学习 理解等级:初级 普通读书笔记卡
- 特征期望 理解等级:中级 普通读书笔记卡
- 学徒学习与最大边际 理解等级:中级 普通读书笔记卡
- 最大边际规划MMP 理解等级:高级 普通读书笔记卡
- 结构化分类 理解等级:中级 普通读书笔记卡
- 神经逆向强化学习 理解等级:中级 普通读书笔记卡
- 最大熵原理与歧义性 理解等级:高级 普通读书笔记卡
- 最大熵逆强化学习与配分函数 理解等级:高级 普通读书笔记卡
- 深度逆向强化学习与引导代价学习 理解等级:高级 普通读书笔记卡
12 第12章 组合策略梯度和值函数方法
2 张卡片
- 熵正则化与策略值函数联系 理解等级:中级 普通读书笔记卡
- PGQL组合策略梯度与Q学习 理解等级:高级 普通读书笔记卡
13 第13章 值迭代网络
5 张卡片
14 第14章 基于模型的强化学习方法:PILCO及其扩展
11 张卡片
- 基于模型与无模型对比 理解等级:初级 普通读书笔记卡
- 模型误差与概率动力学模型 理解等级:中级 普通读书笔记卡
- PILCO三层架构 理解等级:中级 结构图卡
- 高斯过程动力学模型 理解等级:中级 普通读书笔记卡
- 长期预测与策略评估 理解等级:中级 普通读书笔记卡
- 后继状态分布四步计算 理解等级:高级 普通读书笔记卡
- 策略更新的梯度推导 理解等级:高级 普通读书笔记卡
- 滤波PILCO与置信空间 理解等级:中级 普通读书笔记卡
- 有向探索与贝叶斯优化 理解等级:高级 普通读书笔记卡
- 深度PILCO输出不确定性 理解等级:高级 普通读书笔记卡
- 深度PILCO输入不确定性 理解等级:高级 普通读书笔记卡
全书概览
《深入浅出强化学习:原理入门》阅读概览
- 书名:深入浅出强化学习:原理入门
- 作者:郭宪、方勇纯
- 出版社:电子工业出版社,出版日期 2018-01-01
- 执行模式:light
- 建档 Skill 版本:v24
- 建档进度:done
- 优先级:P4
- 评级:经典原理(高信息浓度 + 高稳定性:马尔科夫决策过程、值迭代/策略迭代、蒙特卡罗与时间差分、策略梯度与置信域优化等核心推导稳定可迁移;gym/TensorFlow 示例的具体接口按当时版本)
- 内容形态:概念解析型为主体,含 gym/Python/TensorFlow 编程实例(局部操作手册型)
- 原书:
books/20261105/深入浅出强化学习:原理入门 (郭宪 方勇纯) .epub - 已读正文:前言 + 第1—14章 + 后记(共 16 个实质单元;内容简介、5 篇推荐序、目录、4 个篇章扉页、参考文献为非正文排除)
- 整书笔记:
_book_note.md(20 sections / 129 primary / 129 sources) - 阅读覆盖:
_coverage.md - 知识卡:129 张(cards/)
- 实践卡:3 张(ideas/)
- 实践候选筛选:done
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 0 |
| 01 | 第1章 绪论 | done | 12 |
| 02 | 第2章 马尔科夫决策过程 | done | 11 |
| 03 | 第3章 基于模型的动态规划方法 | done | 10 |
| 04 | 第4章 基于蒙特卡罗的强化学习方法 | done | 9 |
| 05 | 第5章 基于时间差分的强化学习方法 | done | 7 |
| 06 | 第6章 基于值函数逼近的强化学习方法 | done | 16 |
| 07 | 第7章 基于策略梯度的强化学习方法 | done | 8 |
| 08 | 第8章 基于置信域策略优化的强化学习方法 | done | 14 |
| 09 | 第9章 基于确定性策略搜索的强化学习方法 | done | 5 |
| 10 | 第10章 基于引导策略搜索的强化学习方法 | done | 8 |
| 11 | 第11章 逆向强化学习 | done | 11 |
| 12 | 第12章 组合策略梯度和值函数方法 | done | 2 |
| 13 | 第13章 值迭代网络 | done | 5 |
| 14 | 第14章 基于模型的强化学习方法:PILCO及其扩展 | done | 11 |
| 15 | 后记 | done | 0 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| titlepage.xhtml | 书名页 | 无正文 |
| text00000.html | 内容简介 | 出版宣传语,无实质讲解 |
| text00001.html | 推荐序一 | 他人评价,非作者正文 |
| text00002.html | 推荐序二 | 他人评价,非作者正文 |
| text00003.html | 推荐序三 | 他人评价,非作者正文 |
| text00004.html | 推荐序四 | 他人评价,非作者正文 |
| text00005.html | 推荐序五 | 他人评价,非作者正文 |
| text00007.html | 目录 | 纯目录 |
| text00009.html | 第一篇扉页 | 分区标题页,无实质讲解 |
| text00012.html | 第二篇扉页 | 分区标题页,无实质讲解 |
| text00016.html | 第三篇扉页 | 分区标题页,无实质讲解 |
| text00021.html | 第四篇扉页 | 分区标题页,无实质讲解 |
| text00027.html | 参考文献 | 文献列表,无实质讲解 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| (无) | — | 全书的提名术语均已在正文卡片中给出实质解释,无需另登记 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| (无) | — | — | 参考文献列表已整体排除;正文中的算法引用均给出了实质讲解并成卡 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡 | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| (无) | — | — | — | 本书为强化学习算法书,不涉及资金安全场景 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 值函数方法演进复现 | 实现深读 | done | 第4/5章 | ideas/idea-001-value-based-repro.md |
| 2 | DQN 稳定性机制消融 | 实现深读 | done | 第6章 | ideas/idea-002-dqn-stability.md |
| 3 | 逆向强化学习小规模复现 | 实现深读 | done | 第11章 | ideas/idea-003-inverse-rl.md |
实践候选筛选:done(未采用候选:全书写实算法推导,”以后研究”类提议无明确现实对象与交付物,不生成卡片)
阶段验收(light)
- 阶段 1 整体评级:经典原理、概念解析型,已据目录/前言与每章抽样判断。
- 阶段 2 生成:16 个实质正文单元全文精读,129 知识卡 + 3 实践卡,整书笔记与全书大纲齐备。
- 阶段 3 审查与修订:skipped(轻量模式:未执行复核、审查及审查结果优化)。
- 阶段 4/5:见
_workflow.md与总表版本列。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。