来源书籍
强化学习
章节与卡片
01 强化学习概述
7 张卡片
- 交互产生决策经验 理解等级:初级 普通读书笔记卡
- 策略给出动作选择 理解等级:初级 普通读书笔记卡
- 回报与两种价值 理解等级:中级 普通读书笔记卡
- 模型把交互变成规划 理解等级:中级 普通读书笔记卡
- 模型与输出两条分类轴 理解等级:中级 普通读书笔记卡
- 探索给信息利用取回报 理解等级:中级 普通读书笔记卡
- 预测评价控制改善 理解等级:中级 普通读书笔记卡
02 马尔可夫决策过程
5 张卡片
- 马尔可夫状态保留必要历史 理解等级:中级 普通读书笔记卡
- 五元组描述序贯决策 理解等级:中级 普通读书笔记卡
- 贝尔曼期望递推 理解等级:中级 普通读书笔记卡
- 固定策略可解线性方程 理解等级:高级 普通读书笔记卡
- 贝尔曼最优在动作上取最大 理解等级:高级 普通读书笔记卡
03 动态规划
5 张卡片
- 动态规划复用价值子问题 理解等级:中级 普通读书笔记卡
- 策略评估用估计值自举 理解等级:中级 普通读书笔记卡
- 贪心改进比较长远价值 理解等级:高级 普通读书笔记卡
- 广义策略迭代交替改进 理解等级:高级 普通读书笔记卡
- 值迭代用最优备份更新 理解等级:中级 普通读书笔记卡
04 蒙特卡罗
8 张卡片
- 蒙特卡罗用完整回报评估 理解等级:中级 普通读书笔记卡
- 增量平均只保存估计和次数 理解等级:中级 普通读书笔记卡
- 无模型控制直接估计动作值 理解等级:中级 普通读书笔记卡
- ε贪心保留行动机会 理解等级:高级 普通读书笔记卡
- 行为策略与目标策略 理解等级:中级 普通读书笔记卡
- 重要性比率校正采样策略 理解等级:高级 普通读书笔记卡
- 归一化重要性权重 理解等级:高级 普通读书笔记卡
- 牌局模型区分观测与结算 理解等级:中级 普通读书笔记卡
05 时序差分
6 张卡片
- 时序差分用一步样本自举 理解等级:中级 普通读书笔记卡
- 采样和自举是两条轴 理解等级:高级 普通读书笔记卡
- 批量TD与经验转移一致 理解等级:高级 普通读书笔记卡
- Sarsa用实际下一动作更新 理解等级:中级 普通读书笔记卡
- Q学习用最大后继动作值 理解等级:中级 普通读书笔记卡
- 未访问动作不能从路径验收 理解等级:高级 普通读书笔记卡
06 资格迹
7 张卡片
- 多步目标移动自举位置 理解等级:中级 普通读书笔记卡
- λ回报给多步目标分权 理解等级:中级 普通读书笔记卡
- 资格迹给历史分配误差 理解等级:中级 普通读书笔记卡
- 前后向等价依赖更新时机 理解等级:高级 普通读书笔记卡
- Sarsa资格迹记录状态动作 理解等级:中级 普通读书笔记卡
- Watkins迹遇非贪心动作截断 理解等级:高级 普通读书笔记卡
- Peng迹保留探索轨迹 理解等级:高级 普通读书笔记卡
07 值函数逼近
9 张卡片
- 共享参数让价值跨状态泛化 理解等级:中级 普通读书笔记卡
- 线性逼近对参数保持线性 理解等级:中级 普通读书笔记卡
- 半梯度只改当前预测 理解等级:高级 普通读书笔记卡
- 批量线性方法复用一批经验 理解等级:中级 普通读书笔记卡
- 深度网络从像素学习特征 理解等级:中级 普通读书笔记卡
- 经验回放重用非相邻转移 理解等级:中级 普通读书笔记卡
- 目标网络减缓学习目标漂移 理解等级:中级 普通读书笔记卡
- 双DQN分开择优与估值 理解等级:高级 普通读书笔记卡
- 竞争网络分解状态值和优势 理解等级:高级 普通读书笔记卡
08 随机策略梯度
6 张卡片
- 策略参数直接决定动作分布 理解等级:中级 普通读书笔记卡
- 状态混同可使随机策略占优 理解等级:高级 普通读书笔记卡
- 策略梯度分解为概率与价值 理解等级:高级 普通读书笔记卡
- 完整回报加权对数概率 理解等级:中级 普通读书笔记卡
- 动作无关基线保持梯度期望 理解等级:高级 普通读书笔记卡
- 置信域约束策略分布变化 理解等级:高级 普通读书笔记卡
09 Actor-Critic及变种
6 张卡片
- 评论家自举指导行动者 理解等级:中级 普通读书笔记卡
- 异策略评论家需校正分布 理解等级:高级 普通读书笔记卡
- 兼容评论家保持策略梯度 理解等级:高级 普通读书笔记卡
- 用TD误差估计动作优势 理解等级:高级 普通读书笔记卡
- 异步学习者交错提交梯度 理解等级:中级 普通读书笔记卡
- A3C用短轨迹估计多步优势 理解等级:中级 普通读书笔记卡
10 确定性策略梯度
4 张卡片
- 确定性梯度经过动作值回传 理解等级:高级 普通读书笔记卡
- 确定性目标用带噪行为探索 理解等级:中级 普通读书笔记卡
- 确定性评论家匹配动作斜率 理解等级:高级 普通读书笔记卡
- DDPG目标需要两套延迟副本 理解等级:中级 普通读书笔记卡
11 学习与规划
5 张卡片
- 用一步转移拟合环境 理解等级:中级 普通读书笔记卡
- Dyna让真实和模拟共用价值 理解等级:中级 普通读书笔记卡
- 久未访问的动作值得重查 理解等级:高级 普通读书笔记卡
- 优先扫描传播变化最大的价值 理解等级:中级 普通读书笔记卡
- Dyna二把搜索作为局部修正 理解等级:高级 普通读书笔记卡
12 探索与利用
6 张卡片
- 累积后悔按劣势和次数计算 理解等级:中级 普通读书笔记卡
- 朴素探索有两种线性遗憾 理解等级:高级 普通读书笔记卡
- 乐观初始化给未试动作机会 理解等级:中级 普通读书笔记卡
- 置信上界给样本稀少者机会 理解等级:高级 普通读书笔记卡
- 汤普森按成为最佳的概率抽样 理解等级:高级 普通读书笔记卡
- 信息价值取决于未来使用机会 理解等级:高级 普通读书笔记卡
13 博弈强化学习
8 张卡片
- 极大极小交替回传对弈价值 理解等级:中级 普通读书笔记卡
- AlphaBeta剪去无关分支 理解等级:中级 普通读书笔记卡
- 树搜索按模拟反馈分配预算 理解等级:中级 普通读书笔记卡
- AlphaGo给搜索配不同网络 理解等级:高级 普通读书笔记卡
- 自我对弈以搜索改进策略 理解等级:高级 普通读书笔记卡
- 搜索先验与次数共同定走法 理解等级:中级 普通读书笔记卡
- 跨棋种复用循环须适配规则 理解等级:中级 普通读书笔记卡
- 棋盘增强同步变换策略标签 理解等级:中级 普通读书笔记卡
全书概览
《强化学习》概览
- Skill 版本:v24
- 执行模式:light
- 建档进度:done
- 出版信息:邹伟、鬲玲、刘昱杓,清华大学出版社,2020 年 6 月第 1 版,ISBN 978-7-302-53829-5(据版权页)。
- 总表第 188 项,初评 P4。本轮评级为经典原理。信息浓度高,贝尔曼有效分解回报,资格迹联系不同更新跨度,Dyna 与棋局搜索将模拟经验并入决策。稳定性高,价值递推、采样和策略改进的核心机制不依赖示例使用的框架版本。
- 整书笔记
- 阅读覆盖
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 前1 | 序言 | done | 0 |
| 前2 | 自序 | done | 0 |
| 前3 | 前言 | done | 0 |
| 01 | 强化学习概述 | done | 7 |
| 02 | 马尔可夫决策过程 | done | 5 |
| 03 | 动态规划 | done | 5 |
| 04 | 蒙特卡罗 | done | 8 |
| 05 | 时序差分 | done | 6 |
| 06 | 资格迹 | done | 7 |
| 07 | 值函数逼近 | done | 9 |
| 08 | 随机策略梯度 | done | 6 |
| 09 | Actor-Critic及变种 | done | 6 |
| 10 | 确定性策略梯度 | done | 4 |
| 11 | 学习与规划 | done | 5 |
| 12 | 探索与利用 | done | 6 |
| 13 | 博弈强化学习 | done | 8 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 1 titlepage | 电子封面 | 封面图片和出版标识。 |
| 2 1-001.xhtml | 图像页 | 单幅图像,无独立教学叙述。 |
| 3 1-002.xhtml | 图像页 | 单幅图像,无独立教学叙述。 |
| 4 1-003.xhtml | 版权页 | 保存出版信息,未展开学科内容。 |
| 5 1-004.xhtml | 内容提要 | 简介内容、案例和读者对象,实质讲解在各章。 |
| 6 1-005.xhtml | 彩插 | 复列章节插图,在对应正文位置理解。 |
| 10 1-009.xhtml | 目录 | 仅为章节导航。 |
| 24 1-023.xhtml | 参考文献 | 书目索引,正文中的引用按实际语境登记。 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — |
| Reinforcement Learning: An Introduction | 书 | 自序 | 作者用于整理理论和推导的参考书。 | | Reinforcement Learning | 课程 | 自序 | David Silver 的网络课程,作者用于整理强化学习方法。 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|
| 1 | 沿源码追踪DQN目标 | 实现深读 | done | 07 | 实践卡,已核验源码入口与机制映射。 | | 2 | 比较探索策略的后悔 | 其他(最小实验) | done | 12 | 实践卡,已给出期限对照和指标。 |
实践候选筛选:done
- 未采用完整复现神经网络自对弈,训练成本超过当前用于理解搜索更新与目标构造的需要。
- 未采用重复实现多种迷宫算法,与参数和目标核对的学习收益重叠。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。