来源书籍

强化学习

Skill 版本:v24 82 张卡片

邹伟、鬲玲、刘昱杓 · 清华大学出版社 · 2020-06 · 第1版 · ISBN 978-7-302-53829-5

章节与卡片

01 强化学习概述

7 张卡片
  1. 交互产生决策经验 理解等级:初级 普通读书笔记卡
  2. 策略给出动作选择 理解等级:初级 普通读书笔记卡
  3. 回报与两种价值 理解等级:中级 普通读书笔记卡
  4. 模型把交互变成规划 理解等级:中级 普通读书笔记卡
  5. 模型与输出两条分类轴 理解等级:中级 普通读书笔记卡
  6. 探索给信息利用取回报 理解等级:中级 普通读书笔记卡
  7. 预测评价控制改善 理解等级:中级 普通读书笔记卡

02 马尔可夫决策过程

5 张卡片
  1. 马尔可夫状态保留必要历史 理解等级:中级 普通读书笔记卡
  2. 五元组描述序贯决策 理解等级:中级 普通读书笔记卡
  3. 贝尔曼期望递推 理解等级:中级 普通读书笔记卡
  4. 固定策略可解线性方程 理解等级:高级 普通读书笔记卡
  5. 贝尔曼最优在动作上取最大 理解等级:高级 普通读书笔记卡

03 动态规划

5 张卡片
  1. 动态规划复用价值子问题 理解等级:中级 普通读书笔记卡
  2. 策略评估用估计值自举 理解等级:中级 普通读书笔记卡
  3. 贪心改进比较长远价值 理解等级:高级 普通读书笔记卡
  4. 广义策略迭代交替改进 理解等级:高级 普通读书笔记卡
  5. 值迭代用最优备份更新 理解等级:中级 普通读书笔记卡

04 蒙特卡罗

8 张卡片
  1. 蒙特卡罗用完整回报评估 理解等级:中级 普通读书笔记卡
  2. 增量平均只保存估计和次数 理解等级:中级 普通读书笔记卡
  3. 无模型控制直接估计动作值 理解等级:中级 普通读书笔记卡
  4. ε贪心保留行动机会 理解等级:高级 普通读书笔记卡
  5. 行为策略与目标策略 理解等级:中级 普通读书笔记卡
  6. 重要性比率校正采样策略 理解等级:高级 普通读书笔记卡
  7. 归一化重要性权重 理解等级:高级 普通读书笔记卡
  8. 牌局模型区分观测与结算 理解等级:中级 普通读书笔记卡

05 时序差分

6 张卡片
  1. 时序差分用一步样本自举 理解等级:中级 普通读书笔记卡
  2. 采样和自举是两条轴 理解等级:高级 普通读书笔记卡
  3. 批量TD与经验转移一致 理解等级:高级 普通读书笔记卡
  4. Sarsa用实际下一动作更新 理解等级:中级 普通读书笔记卡
  5. Q学习用最大后继动作值 理解等级:中级 普通读书笔记卡
  6. 未访问动作不能从路径验收 理解等级:高级 普通读书笔记卡

06 资格迹

7 张卡片
  1. 多步目标移动自举位置 理解等级:中级 普通读书笔记卡
  2. λ回报给多步目标分权 理解等级:中级 普通读书笔记卡
  3. 资格迹给历史分配误差 理解等级:中级 普通读书笔记卡
  4. 前后向等价依赖更新时机 理解等级:高级 普通读书笔记卡
  5. Sarsa资格迹记录状态动作 理解等级:中级 普通读书笔记卡
  6. Watkins迹遇非贪心动作截断 理解等级:高级 普通读书笔记卡
  7. Peng迹保留探索轨迹 理解等级:高级 普通读书笔记卡

07 值函数逼近

9 张卡片
  1. 共享参数让价值跨状态泛化 理解等级:中级 普通读书笔记卡
  2. 线性逼近对参数保持线性 理解等级:中级 普通读书笔记卡
  3. 半梯度只改当前预测 理解等级:高级 普通读书笔记卡
  4. 批量线性方法复用一批经验 理解等级:中级 普通读书笔记卡
  5. 深度网络从像素学习特征 理解等级:中级 普通读书笔记卡
  6. 经验回放重用非相邻转移 理解等级:中级 普通读书笔记卡
  7. 目标网络减缓学习目标漂移 理解等级:中级 普通读书笔记卡
  8. 双DQN分开择优与估值 理解等级:高级 普通读书笔记卡
  9. 竞争网络分解状态值和优势 理解等级:高级 普通读书笔记卡

08 随机策略梯度

6 张卡片
  1. 策略参数直接决定动作分布 理解等级:中级 普通读书笔记卡
  2. 状态混同可使随机策略占优 理解等级:高级 普通读书笔记卡
  3. 策略梯度分解为概率与价值 理解等级:高级 普通读书笔记卡
  4. 完整回报加权对数概率 理解等级:中级 普通读书笔记卡
  5. 动作无关基线保持梯度期望 理解等级:高级 普通读书笔记卡
  6. 置信域约束策略分布变化 理解等级:高级 普通读书笔记卡

09 Actor-Critic及变种

6 张卡片
  1. 评论家自举指导行动者 理解等级:中级 普通读书笔记卡
  2. 异策略评论家需校正分布 理解等级:高级 普通读书笔记卡
  3. 兼容评论家保持策略梯度 理解等级:高级 普通读书笔记卡
  4. 用TD误差估计动作优势 理解等级:高级 普通读书笔记卡
  5. 异步学习者交错提交梯度 理解等级:中级 普通读书笔记卡
  6. A3C用短轨迹估计多步优势 理解等级:中级 普通读书笔记卡

10 确定性策略梯度

4 张卡片
  1. 确定性梯度经过动作值回传 理解等级:高级 普通读书笔记卡
  2. 确定性目标用带噪行为探索 理解等级:中级 普通读书笔记卡
  3. 确定性评论家匹配动作斜率 理解等级:高级 普通读书笔记卡
  4. DDPG目标需要两套延迟副本 理解等级:中级 普通读书笔记卡

11 学习与规划

5 张卡片
  1. 用一步转移拟合环境 理解等级:中级 普通读书笔记卡
  2. Dyna让真实和模拟共用价值 理解等级:中级 普通读书笔记卡
  3. 久未访问的动作值得重查 理解等级:高级 普通读书笔记卡
  4. 优先扫描传播变化最大的价值 理解等级:中级 普通读书笔记卡
  5. Dyna二把搜索作为局部修正 理解等级:高级 普通读书笔记卡

12 探索与利用

6 张卡片
  1. 累积后悔按劣势和次数计算 理解等级:中级 普通读书笔记卡
  2. 朴素探索有两种线性遗憾 理解等级:高级 普通读书笔记卡
  3. 乐观初始化给未试动作机会 理解等级:中级 普通读书笔记卡
  4. 置信上界给样本稀少者机会 理解等级:高级 普通读书笔记卡
  5. 汤普森按成为最佳的概率抽样 理解等级:高级 普通读书笔记卡
  6. 信息价值取决于未来使用机会 理解等级:高级 普通读书笔记卡

13 博弈强化学习

8 张卡片
  1. 极大极小交替回传对弈价值 理解等级:中级 普通读书笔记卡
  2. AlphaBeta剪去无关分支 理解等级:中级 普通读书笔记卡
  3. 树搜索按模拟反馈分配预算 理解等级:中级 普通读书笔记卡
  4. AlphaGo给搜索配不同网络 理解等级:高级 普通读书笔记卡
  5. 自我对弈以搜索改进策略 理解等级:高级 普通读书笔记卡
  6. 搜索先验与次数共同定走法 理解等级:中级 普通读书笔记卡
  7. 跨棋种复用循环须适配规则 理解等级:中级 普通读书笔记卡
  8. 棋盘增强同步变换策略标签 理解等级:中级 普通读书笔记卡

全书概览

《强化学习》概览

  • Skill 版本:v24
  • 执行模式:light
  • 建档进度:done
  • 出版信息:邹伟、鬲玲、刘昱杓,清华大学出版社,2020 年 6 月第 1 版,ISBN 978-7-302-53829-5(据版权页)。
  • 总表第 188 项,初评 P4。本轮评级为经典原理。信息浓度高,贝尔曼有效分解回报,资格迹联系不同更新跨度,Dyna 与棋局搜索将模拟经验并入决策。稳定性高,价值递推、采样和策略改进的核心机制不依赖示例使用的框架版本。
  • 整书笔记
  • 阅读覆盖

章节进度追踪表

章节号 章节标题 状态 卡片数
前1 序言 done 0
前2 自序 done 0
前3 前言 done 0
01 强化学习概述 done 7
02 马尔可夫决策过程 done 5
03 动态规划 done 5
04 蒙特卡罗 done 8
05 时序差分 done 6
06 资格迹 done 7
07 值函数逼近 done 9
08 随机策略梯度 done 6
09 Actor-Critic及变种 done 6
10 确定性策略梯度 done 4
11 学习与规划 done 5
12 探索与利用 done 6
13 博弈强化学习 done 8

非正文排除

spine项 类型 排除理由
1 titlepage 电子封面 封面图片和出版标识。
2 1-001.xhtml 图像页 单幅图像,无独立教学叙述。
3 1-002.xhtml 图像页 单幅图像,无独立教学叙述。
4 1-003.xhtml 版权页 保存出版信息,未展开学科内容。
5 1-004.xhtml 内容提要 简介内容、案例和读者对象,实质讲解在各章。
6 1-005.xhtml 彩插 复列章节插图,在对应正文位置理解。
10 1-009.xhtml 目录 仅为章节导航。
24 1-023.xhtml 参考文献 书目索引,正文中的引用按实际语境登记。

待关联术语

术语名 出现章节 一句话语境

引用文献

| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — |

| Reinforcement Learning: An Introduction | 书 | 自序 | 作者用于整理理论和推导的参考书。 | | Reinforcement Learning | 课程 | 自序 | David Silver 的网络课程,作者用于整理强化学习方法。 |

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出

| 1 | 沿源码追踪DQN目标 | 实现深读 | done | 07 | 实践卡,已核验源码入口与机制映射。 | | 2 | 比较探索策略的后悔 | 其他(最小实验) | done | 12 | 实践卡,已给出期限对照和指标。 |

实践候选筛选:done

  • 未采用完整复现神经网络自对弈,训练成本超过当前用于理解搜索更新与目标构造的需要。
  • 未采用重复实现多种迷宫算法,与参数和目标核对的学习收益重叠。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。