来源书籍

深入浅出强化学习:原理入门

Skill 版本:v24 129 张卡片

郭宪, 方勇纯 · 电子工业出版社 · 2018-01-01

章节与卡片

01 第1章 绪论

12 张卡片
  1. 本书定位与写作特色 理解等级:初级 普通读书笔记卡
  2. 序贯决策问题 理解等级:中级 普通读书笔记卡
  3. 智能体环境交互框架 理解等级:中级 结构图卡
  4. 强化学习与监督学习之别 理解等级:中级 普通读书笔记卡
  5. 基于模型与无模型 理解等级:高级 普通读书笔记卡
  6. 值函数与策略搜索分类 理解等级:中级 普通读书笔记卡
  7. 正向与逆向强化学习 理解等级:中级 普通读书笔记卡
  8. 强化学习发展趋势 理解等级:高级 普通读书笔记卡
  9. 仿真环境两大引擎 理解等级:初级 普通读书笔记卡
  10. gym安装与快速上手 理解等级:中级 操作参考卡
  11. gym环境三函数 理解等级:中级 操作参考卡
  12. 本书两条主线与章节安排 理解等级:中级 结构图卡

02 第2章 马尔科夫决策过程

11 张卡片
  1. 强化学习交互框架 理解等级:初级 普通读书笔记卡
  2. 马尔科夫性 理解等级:中级 普通读书笔记卡
  3. 马尔科夫过程与状态转移 理解等级:中级 普通读书笔记卡
  4. MDP要素关系 理解等级:中级 结构图卡
  5. 策略与累积回报 理解等级:中级 普通读书笔记卡
  6. 状态值函数与状态-行为值函数 理解等级:中级 普通读书笔记卡
  7. 贝尔曼方程 理解等级:高级 普通读书笔记卡
  8. 最优值函数与贝尔曼最优方程 理解等级:高级 普通读书笔记卡
  9. 概率学基础 理解等级:中级 普通读书笔记卡
  10. 常用随机策略 理解等级:中级 普通读书笔记卡
  11. 基于gym的MDP实例 理解等级:中级 操作参考卡

03 第3章 基于模型的动态规划方法

10 张卡片
  1. 基于模型的动态规划 理解等级:中级 普通读书笔记卡
  2. 策略评估与自举 理解等级:中级 普通读书笔记卡
  3. 策略改善与贪婪策略 理解等级:中级 普通读书笔记卡
  4. 策略迭代算法 理解等级:中级 普通读书笔记卡
  5. 值迭代算法 理解等级:中级 普通读书笔记卡
  6. 迭代算法流程 理解等级:中级 结构图卡
  7. 雅克比与高斯赛德尔迭代 理解等级:中级 普通读书笔记卡
  8. 压缩映射证明收敛 理解等级:高级 普通读书笔记卡
  9. gym策略迭代实现 理解等级:中级 操作参考卡
  10. 最优控制与强化学习比较 理解等级:高级 普通读书笔记卡

04 第4章 基于蒙特卡罗的强化学习方法

9 张卡片
  1. 无模型与有模型强化学习 理解等级:初级 普通读书笔记卡
  2. 蒙特卡罗策略评估 理解等级:中级 普通读书笔记卡
  3. 探索必要性与探索性初始化 理解等级:中级 普通读书笔记卡
  4. 首次访问与每次访问MC方法 理解等级:中级 普通读书笔记卡
  5. 采样估计期望 理解等级:中级 普通读书笔记卡
  6. 重要性采样 理解等级:高级 普通读书笔记卡
  7. 同策略与异策略 理解等级:中级 普通读书笔记卡
  8. MCMC采样方法 理解等级:高级 普通读书笔记卡
  9. 蒙特卡罗编程:模拟与平均 理解等级:中级 操作参考卡

05 第5章 基于时间差分的强化学习方法

7 张卡片
  1. TD方法与自举 理解等级:中级 普通读书笔记卡
  2. TD目标与TD偏差 理解等级:中级 普通读书笔记卡
  3. 三种值函数估计的异同 理解等级:高级 普通读书笔记卡
  4. Sarsa同策略算法 理解等级:中级 普通读书笔记卡
  5. Qlearning异策略算法 理解等级:中级 普通读书笔记卡
  6. TD的前向与后向视角 理解等级:高级 普通读书笔记卡
  7. Python与gym编程实例 理解等级:中级 操作参考卡

06 第6章 基于值函数逼近的强化学习方法

16 张卡片
  1. 值函数逼近的动机 理解等级:初级 普通读书笔记卡
  2. 参数化逼近与监督学习 理解等级:中级 普通读书笔记卡
  3. 半梯度TD与批学习 理解等级:高级 普通读书笔记卡
  4. 线性逼近与基函数 理解等级:中级 普通读书笔记卡
  5. Qlearning的两大要点 理解等级:中级 普通读书笔记卡
  6. DQN的三大改进 理解等级:中级 普通读书笔记卡
  7. 经验回放机制 理解等级:中级 普通读书笔记卡
  8. 目标网络机制 理解等级:中级 普通读书笔记卡
  9. DQN变种关系图 理解等级:初级 结构图卡
  10. Double DQN抑制过估计 理解等级:高级 普通读书笔记卡
  11. 优先回放机制 理解等级:高级 普通读书笔记卡
  12. Dueling DQN 理解等级:高级 普通读书笔记卡
  13. 非参数函数逼近 理解等级:高级 普通读书笔记卡
  14. 神经网络即参数化基函数 理解等级:中级 普通读书笔记卡
  15. 反向传播算法 理解等级:高级 普通读书笔记卡
  16. 卷积神经网络 理解等级:中级 普通读书笔记卡

07 第7章 基于策略梯度的强化学习方法

8 张卡片
  1. 值函数与策略搜索之别 理解等级:中级 普通读书笔记卡
  2. 策略搜索方法谱系 理解等级:初级 结构图卡
  3. 似然比与轨迹似然率 理解等级:高级 普通读书笔记卡
  4. 策略梯度定理 理解等级:高级 普通读书笔记卡
  5. 梯度公式的直观 理解等级:中级 普通读书笔记卡
  6. 基线减小方差 理解等级:高级 普通读书笔记卡
  7. REINFORCE算法 理解等级:中级 普通读书笔记卡
  8. Softmax策略实现 理解等级:中级 操作参考卡

08 第8章 基于置信域策略优化的强化学习方法

14 张卡片
  1. TRPO的核心目标 理解等级:初级 普通读书笔记卡
  2. 策略搜索方法分类 理解等级:初级 结构图卡
  3. 策略梯度的步长困境 理解等级:中级 普通读书笔记卡
  4. 回报函数分解等式 理解等级:高级 普通读书笔记卡
  5. 优势函数 理解等级:中级 普通读书笔记卡
  6. 新旧策略回报差转化 理解等级:高级 普通读书笔记卡
  7. 固定状态分布近似 理解等级:中级 普通读书笔记卡
  8. 重要性采样与替代回报 理解等级:中级 普通读书笔记卡
  9. KL散度下界与单调性 理解等级:高级 普通读书笔记卡
  10. 平均KL与优化化简 理解等级:高级 普通读书笔记卡
  11. 共轭梯度求解更新量 理解等级:高级 普通读书笔记卡
  12. 熵、交叉熵与KL散度 理解等级:中级 普通读书笔记卡
  13. 无约束优化方法 理解等级:中级 普通读书笔记卡
  14. 拟牛顿法与BFGS 理解等级:高级 普通读书笔记卡

09 第9章 基于确定性策略搜索的强化学习方法

5 张卡片
  1. 策略搜索两条路线 理解等级:初级 普通读书笔记卡
  2. 确定性与随机策略之别 理解等级:中级 普通读书笔记卡
  3. 确定性策略梯度DPG 理解等级:高级 普通读书笔记卡
  4. 异策略Actor-Critic框架 理解等级:中级 结构图卡
  5. DDPG深度确定性策略 理解等级:高级 普通读书笔记卡

10 第10章 基于引导策略搜索的强化学习方法

8 张卡片
  1. GPS的控制相与监督相 理解等级:中级 结构图卡
  2. 无模型强化学习的数据效率困境 理解等级:高级 普通读书笔记卡
  3. GPS发展脉络与Levine工作 理解等级:初级 普通读书笔记卡
  4. cGPS的KL散度目标 理解等级:高级 普通读书笔记卡
  5. cGPS每步代价的推导 理解等级:高级 普通读书笔记卡
  6. L-BFGS有限内存优化 理解等级:中级 普通读书笔记卡
  7. ADMM交替方向乘子法 理解等级:中级 普通读书笔记卡
  8. 动量映射与信息映射 理解等级:高级 普通读书笔记卡

11 第11章 逆向强化学习

11 张卡片
  1. 逆向强化学习的定义 理解等级:初级 普通读书笔记卡
  2. 逆向强化学习的分类 理解等级:中级 结构图卡
  3. 模仿学习与逆强化学习 理解等级:初级 普通读书笔记卡
  4. 特征期望 理解等级:中级 普通读书笔记卡
  5. 学徒学习与最大边际 理解等级:中级 普通读书笔记卡
  6. 最大边际规划MMP 理解等级:高级 普通读书笔记卡
  7. 结构化分类 理解等级:中级 普通读书笔记卡
  8. 神经逆向强化学习 理解等级:中级 普通读书笔记卡
  9. 最大熵原理与歧义性 理解等级:高级 普通读书笔记卡
  10. 最大熵逆强化学习与配分函数 理解等级:高级 普通读书笔记卡
  11. 深度逆向强化学习与引导代价学习 理解等级:高级 普通读书笔记卡

12 第12章 组合策略梯度和值函数方法

2 张卡片
  1. 熵正则化与策略值函数联系 理解等级:中级 普通读书笔记卡
  2. PGQL组合策略梯度与Q学习 理解等级:高级 普通读书笔记卡

13 第13章 值迭代网络

5 张卡片
  1. 反应式策略的局限 理解等级:中级 普通读书笔记卡
  2. 规划模块提升泛化 理解等级:中级 普通读书笔记卡
  3. 值迭代网络结构 理解等级:中级 结构图卡
  4. 值迭代模块输入输出 理解等级:中级 普通读书笔记卡
  5. 注意力嵌入与训练 理解等级:中级 普通读书笔记卡

14 第14章 基于模型的强化学习方法:PILCO及其扩展

11 张卡片
  1. 基于模型与无模型对比 理解等级:初级 普通读书笔记卡
  2. 模型误差与概率动力学模型 理解等级:中级 普通读书笔记卡
  3. PILCO三层架构 理解等级:中级 结构图卡
  4. 高斯过程动力学模型 理解等级:中级 普通读书笔记卡
  5. 长期预测与策略评估 理解等级:中级 普通读书笔记卡
  6. 后继状态分布四步计算 理解等级:高级 普通读书笔记卡
  7. 策略更新的梯度推导 理解等级:高级 普通读书笔记卡
  8. 滤波PILCO与置信空间 理解等级:中级 普通读书笔记卡
  9. 有向探索与贝叶斯优化 理解等级:高级 普通读书笔记卡
  10. 深度PILCO输出不确定性 理解等级:高级 普通读书笔记卡
  11. 深度PILCO输入不确定性 理解等级:高级 普通读书笔记卡

全书概览

《深入浅出强化学习:原理入门》阅读概览

  • 书名:深入浅出强化学习:原理入门
  • 作者:郭宪、方勇纯
  • 出版社:电子工业出版社,出版日期 2018-01-01
  • 执行模式:light
  • 建档 Skill 版本:v24
  • 建档进度:done
  • 优先级:P4
  • 评级:经典原理(高信息浓度 + 高稳定性:马尔科夫决策过程、值迭代/策略迭代、蒙特卡罗与时间差分、策略梯度与置信域优化等核心推导稳定可迁移;gym/TensorFlow 示例的具体接口按当时版本)
  • 内容形态:概念解析型为主体,含 gym/Python/TensorFlow 编程实例(局部操作手册型)
  • 原书:books/20261105/深入浅出强化学习:原理入门 (郭宪 方勇纯) .epub
  • 已读正文:前言 + 第1—14章 + 后记(共 16 个实质单元;内容简介、5 篇推荐序、目录、4 个篇章扉页、参考文献为非正文排除)
  • 整书笔记:_book_note.md(20 sections / 129 primary / 129 sources)
  • 阅读覆盖:_coverage.md
  • 知识卡:129 张(cards/)
  • 实践卡:3 张(ideas/)
  • 实践候选筛选:done

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 0
01 第1章 绪论 done 12
02 第2章 马尔科夫决策过程 done 11
03 第3章 基于模型的动态规划方法 done 10
04 第4章 基于蒙特卡罗的强化学习方法 done 9
05 第5章 基于时间差分的强化学习方法 done 7
06 第6章 基于值函数逼近的强化学习方法 done 16
07 第7章 基于策略梯度的强化学习方法 done 8
08 第8章 基于置信域策略优化的强化学习方法 done 14
09 第9章 基于确定性策略搜索的强化学习方法 done 5
10 第10章 基于引导策略搜索的强化学习方法 done 8
11 第11章 逆向强化学习 done 11
12 第12章 组合策略梯度和值函数方法 done 2
13 第13章 值迭代网络 done 5
14 第14章 基于模型的强化学习方法:PILCO及其扩展 done 11
15 后记 done 0

非正文排除

spine项 类型 排除理由
titlepage.xhtml 书名页 无正文
text00000.html 内容简介 出版宣传语,无实质讲解
text00001.html 推荐序一 他人评价,非作者正文
text00002.html 推荐序二 他人评价,非作者正文
text00003.html 推荐序三 他人评价,非作者正文
text00004.html 推荐序四 他人评价,非作者正文
text00005.html 推荐序五 他人评价,非作者正文
text00007.html 目录 纯目录
text00009.html 第一篇扉页 分区标题页,无实质讲解
text00012.html 第二篇扉页 分区标题页,无实质讲解
text00016.html 第三篇扉页 分区标题页,无实质讲解
text00021.html 第四篇扉页 分区标题页,无实质讲解
text00027.html 参考文献 文献列表,无实质讲解

待关联术语

术语名 出现章节 一句话语境
(无) — 全书的提名术语均已在正文卡片中给出实质解释,无需另登记

引用文献

标题 类型 出现章节 一句话语境
(无) — — 参考文献列表已整体排除;正文中的算法引用均给出了实质讲解并成卡

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明
(无) — — — 本书为强化学习算法书,不涉及资金安全场景

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 值函数方法演进复现 实现深读 done 第4/5章 ideas/idea-001-value-based-repro.md
2 DQN 稳定性机制消融 实现深读 done 第6章 ideas/idea-002-dqn-stability.md
3 逆向强化学习小规模复现 实现深读 done 第11章 ideas/idea-003-inverse-rl.md

实践候选筛选:done(未采用候选:全书写实算法推导,”以后研究”类提议无明确现实对象与交付物,不生成卡片)

阶段验收(light)

  • 阶段 1 整体评级:经典原理、概念解析型,已据目录/前言与每章抽样判断。
  • 阶段 2 生成:16 个实质正文单元全文精读,129 知识卡 + 3 实践卡,整书笔记与全书大纲齐备。
  • 阶段 3 审查与修订:skipped(轻量模式:未执行复核、审查及审查结果优化)。
  • 阶段 4/5:见 _workflow.md 与总表版本列。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。