来源书籍

强化学习入门:从原理到实践

Skill 版本:v24 99 张卡片

叶强、闫维新、黎斌 · 机械工业出版社(纸版);华章分社(电子版) · 2020 · ISBN 978-7-111-66126-9

章节与卡片

01 1.4 编程环境与代码资源

9 张卡片
  1. 试错需要选择和联想 理解等级:中级 普通读书笔记卡
  2. 延迟奖励的信用分配 理解等级:初级 普通读书笔记卡
  3. 奖励把任务变成优化目标 理解等级:中级 普通读书笔记卡
  4. 观测不一定包含完整状态 理解等级:中级 普通读书笔记卡
  5. 确定性策略与随机策略 理解等级:初级 普通读书笔记卡
  6. 价值策略模型各管一事 理解等级:中级 普通读书笔记卡
  7. 学习用经验规划用模型 理解等级:中级 普通读书笔记卡
  8. 预测与控制的目标不同 理解等级:初级 普通读书笔记卡
  9. 交互反馈有别于动作标签 理解等级:中级 普通读书笔记卡

02 2.4.2 验证贝尔曼方程

10 张卡片
  1. 马尔可夫状态压缩历史 理解等级:中级 普通读书笔记卡
  2. 状态链采样与终止 理解等级:初级 普通读书笔记卡
  3. 折扣回报按时间加权 理解等级:中级 普通读书笔记卡
  4. 状态价值是回报期望 理解等级:中级 普通读书笔记卡
  5. 贝尔曼递推拆分一步 理解等级:中级 s)V(s′)。未来可能去多个地方,须把每个后继的价值按发生概率计入。有限状态写成 (I−γP)V=r 后可以解线性方程组。
  6. 固定策略诱导奖励过程 理解等级:中级 普通读书笔记卡
  7. 状态价值平均动作价值 理解等级:中级 普通读书笔记卡
  8. 只对可选动作取最大 理解等级:高级 普通读书笔记卡
  9. 吸收行会令整矩阵奇异 理解等级:高级 普通读书笔记卡
  10. 同一个回推可用于评估或优化 理解等级:中级 普通读书笔记卡

03 3.5.4 价值迭代

6 张卡片
  1. 动态规划复用子问题价值 理解等级:中级 普通读书笔记卡
  2. 同步评估每轮读取旧值 理解等级:中级 普通读书笔记卡
  3. 策略迭代交替评估改进 理解等级:中级 普通读书笔记卡
  4. 价值迭代直接做最优回推 理解等级:中级 普通读书笔记卡
  5. 异步回推选择更新顺序 理解等级:中级 普通读书笔记卡
  6. 小模型可以用函数存规则 理解等级:中级 普通读书笔记卡

04 4.4.5 策略评估

10 张卡片
  1. 蒙特卡罗以整回合回报估值 理解等级:中级 普通读书笔记卡
  2. 增量均值用误差修正旧值 理解等级:中级 普通读书笔记卡
  3. 一步时序差分即刻更新 理解等级:中级 普通读书笔记卡
  4. 自举与采样是不同维度 理解等级:高级 普通读书笔记卡
  5. 多步目标延后自举 理解等级:中级 普通读书笔记卡
  6. λ回报混合多步目标 理解等级:中级 普通读书笔记卡
  7. 效用迹在线回传误差 理解等级:中级 普通读书笔记卡
  8. 可用A影响要牌的后果 理解等级:中级 普通读书笔记卡
  9. 轨迹只记录可控决策 理解等级:中级 普通读书笔记卡
  10. 终局奖励可作整局样本目标 理解等级:中级 普通读书笔记卡

05 5.8.3 Q学习算法

13 张卡片
  1. 行为策略与目标策略 理解等级:中级 普通读书笔记卡
  2. 动作值允许直接改进策略 理解等级:中级 普通读书笔记卡
  3. ε贪婪混合两种采样 理解等级:中级 普通读书笔记卡
  4. GLIE兼顾覆盖和贪婪极限 理解等级:高级 普通读书笔记卡
  5. Sarsa按将执行的动作回推 理解等级:中级 普通读书笔记卡
  6. 动作效用迹按回合重置 理解等级:中级 普通读书笔记卡
  7. 动作迹加速终点奖励回传 理解等级:中级 普通读书笔记卡
  8. 重要性比率校正采样差异 理解等级:高级 普通读书笔记卡
  9. Q学习回推后继最大值 理解等级:中级 普通读书笔记卡
  10. 固定牌局可比较预测和控制 理解等级:中级 普通读书笔记卡
  11. 环境接口封装转移 理解等级:中级 延伸参考卡
  12. 经验要保留回合和转移 理解等级:中级 普通读书笔记卡
  13. 交互循环可复用更新算法 理解等级:中级 普通读书笔记卡

06 6.5.2 实现DQN求解PuckWorld问题

18 张卡片
  1. 状态离散分箱有维度成本 理解等级:高级 普通读书笔记卡
  2. 动作价值近似的输入输出 理解等级:中级 普通读书笔记卡
  3. 同一逼近器可换训练目标 理解等级:中级 普通读书笔记卡
  4. 学习率控制下降步长 理解等级:中级 普通读书笔记卡
  5. 查表是独热的线性近似 理解等级:中级 普通读书笔记卡
  6. TD目标可视为常数求导 理解等级:高级 普通读书笔记卡
  7. 激活使多层模型产生非线性 理解等级:中级 普通读书笔记卡
  8. 反向传播按层计算梯度 理解等级:中级 普通读书笔记卡
  9. 卷积共享局部检测规则 理解等级:中级 普通读书笔记卡
  10. 填充步长控制卷积尺寸 理解等级:中级 普通读书笔记卡
  11. 池化以局部统计缩减数据 理解等级:初级 普通读书笔记卡
  12. 经验回放打乱相邻转移 理解等级:中级 普通读书笔记卡
  13. 目标网降低自举目标漂移 理解等级:中级 普通读书笔记卡
  14. 双Q分开选动作和估值 理解等级:高级 普通读书笔记卡
  15. 先核对张量轴的意义 理解等级:中级 普通读书笔记卡
  16. 动态图记录实际计算路径 理解等级:中级 延伸参考卡
  17. 值网络输出无需概率归一化 理解等级:中级 普通读书笔记卡
  18. 终止掩码切断网络自举 理解等级:中级 普通读书笔记卡

07 7.5.5 DDPG算法在PuckWorld环境中的表现

11 张卡片
  1. 连续策略直接产生动作 理解等级:中级 普通读书笔记卡
  2. 观测重名会困住贪婪策略 理解等级:高级 普通读书笔记卡
  3. 策略梯度给回报好的动作加权 理解等级:中级 普通读书笔记卡
  4. 离散和连续策略如何采样 理解等级:中级 普通读书笔记卡
  5. 演员用评判信号改策略 理解等级:中级 普通读书笔记卡
  6. 状态基线估计动作优势 理解等级:高级 普通读书笔记卡
  7. DDPG用两对网络分工 理解等级:高级 普通读书笔记卡
  8. 动作接口应反映控制约束 理解等级:中级 普通读书笔记卡
  9. 连续演员用tanh约束动作 理解等级:中级 普通读书笔记卡
  10. 连续探索可加相关噪声 理解等级:中级 普通读书笔记卡
  11. 软更新让目标参数缓慢跟随 理解等级:中级 普通读书笔记卡

08 8.3.2 蒙特卡罗树搜索

5 张卡片
  1. 虚拟转移取自经验模型 理解等级:中级 普通读书笔记卡
  2. Dyna用真实经验带动规划 理解等级:中级 普通读书笔记卡
  3. 前向搜索从当前状态出发 理解等级:中级 普通读书笔记卡
  4. 简单搜索等额模拟根动作 理解等级:中级 普通读书笔记卡
  5. 树搜索复用中间节点统计 理解等级:中级 普通读书笔记卡

09 9.2.3 基于信息价值的探索

7 张卡片
  1. 探索可作用在动作或参数 理解等级:中级 普通读书笔记卡
  2. 后悔分解为次数乘差距 理解等级:中级 普通读书笔记卡
  3. 探索衰减速度影响覆盖 理解等级:高级 普通读书笔记卡
  4. 乐观初值引导早期试验 理解等级:中级 普通读书笔记卡
  5. UCB给不确定性额外权重 理解等级:高级 普通读书笔记卡
  6. 汤普森抽样按最优概率行动 理解等级:高级 普通读书笔记卡
  7. 信息价值取决于剩余机会 理解等级:高级 普通读书笔记卡

10 10.4.4 训练自己的Alpha Zero模型

10 张卡片
  1. 自博弈用搜索改进网络 理解等级:高级 普通读书笔记卡
  2. 零和棋局按执棋方记价值 理解等级:中级 普通读书笔记卡
  3. 树内先验与均值共同选边 理解等级:高级 普通读书笔记卡
  4. 叶节点估值沿路径回传 理解等级:中级 普通读书笔记卡
  5. 根访问次数形成策略标签 理解等级:中级 普通读书笔记卡
  6. 随机演局可作搜索基线 理解等级:中级 普通读书笔记卡
  7. 共享棋局特征分为双头 理解等级:中级 普通读书笔记卡
  8. 棋盘动作编码与观测对齐 理解等级:中级 普通读书笔记卡
  9. 落子探索与训练标签分开 理解等级:高级 普通读书笔记卡
  10. 策略价值网络学习两类标签 理解等级:高级 普通读书笔记卡

全书概览

强化学习入门:从原理到实践

Skill 版本:v24

执行模式:light

建档进度:done

评级:经典原理(高信息浓度、高稳定性)。试错与最优控制的结合、贝尔曼递推以及随序列反馈更新估计构成稳定主线。配套的具体框架和版本属于实验实现。

整书笔记 · 阅读覆盖

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 0
01 第1章 概述 done 0
01 1.1 强化学习的历史 done 2
01 1.2 强化学习的基本概念 done 7
01 1.3 章节组织 done 0
01 1.4 编程环境与代码资源 done 0
02 第2章 从一个示例到马尔可夫决策过程 done 0
02 2.1 马尔可夫过程 done 2
02 2.2 马尔可夫奖励过程 done 3
02 2.3 马尔可夫决策过程 done 3
02 2.4 编程实践:学生马尔可夫决策示例 done 0
02 2.4.1 收获和价值的计算 done 1
02 2.4.2 验证贝尔曼方程 done 1
03 第3章 动态规划寻找最优策略 done 1
03 3.1 策略评估 done 1
03 3.2 策略迭代 done 1
03 3.3 价值迭代 done 1
03 3.4 异步动态规划算法 done 1
03 3.5 编程实践:动态规划求解小型格子世界最优策略 done 0
03 3.5.1 小型格子世界MDP建模 done 1
03 3.5.2 策略评估 done 0
03 3.5.3 策略迭代 done 0
03 3.5.4 价值迭代 done 0
04 第4章 不基于模型的预测 done 0
04 4.1 蒙特卡罗强化学习 done 2
04 4.2 时序差分强化学习 done 2
04 4.3 n步时序差分学习 done 3
04 4.4 编程实践:蒙特卡罗学习评估21点游戏的玩家策略 done 0
04 4.4.1 21点游戏规则 done 0
04 4.4.2 将21点游戏建模为强化学习问题 done 1
04 4.4.3 游戏场景的搭建 done 1
04 4.4.4 生成对局数据 done 0
04 4.4.5 策略评估 done 1
05 第5章 无模型的控制 done 1
05 5.1 行为价值函数的重要性 done 1
05 5.2 贪婪策略 done 1
05 5.3 同策略蒙特卡罗控制 done 1
05 5.4 同策略时序差分控制 done 0
05 5.4.1 Sarsa算法 done 1
05 5.4.2 Sarsa(λ)算法 done 1
05 5.4.3 比较Sarsa和Sarsa(λ) done 1
05 5.5 异策略Q学习算法 done 2
05 5.6 编程实践:蒙特卡罗学习求解21点游戏的最优策略 done 1
05 5.7 编程实践:构建基于gym的有风的格子世界及个体 done 0
05 5.7.1 gym库简介 done 1
05 5.7.2 状态序列的管理 done 1
05 5.7.3 个体基类的编写 done 1
05 5.8 编程实践:各类学习算法的实现及与有风的格子世界的交互 done 0
05 5.8.1 Sarsa算法 done 0
05 5.8.2 Sarsa(λ)算法 done 0
05 5.8.3 Q学习算法 done 0
06 第6章 价值函数的近似表示 done 0
06 6.1 价值近似的意义 done 2
06 6.2 目标函数与梯度下降 done 1
06 6.2.2 梯度和梯度下降 done 1
06 6.3 常用的近似价值函数 done 0
06 6.3.1 线性近似 done 2
06 6.3.2 神经网络 done 2
06 6.3.3 卷积神经网络近似 done 3
06 6.4 DQN算法 done 3
06 6.5 编程实践:基于PyTorch实现DQN求解PuckWorld问题 done 2
06 6.5.1 基于神经网络的近似价值函数 done 1
06 6.5.2 实现DQN求解PuckWorld问题 done 1
07 第7章 基于策略梯度的深度强化学习 done 0
07 7.1 基于策略学习的意义 done 2
07 7.2 策略目标函数 done 2
07 7.3 Actor-Critic算法 done 2
07 7.4 深度确定性策略梯度算法 done 1
07 7.5 编程实践:DDPG算法实现 done 0
07 7.5.1 连续行为空间的PuckWorld环境 done 1
07 7.5.2 Actor-Critic网络的实现 done 1
07 7.5.3 确定性策略下探索的实现 done 1
07 7.5.4 DDPG算法的实现 done 1
07 7.5.5 DDPG算法在PuckWorld环境中的表现 done 0
08 第8章 基于模型的学习和规划 done 0
08 8.1 环境的模型 done 1
08 8.2 整合学习与规划——Dyna算法 done 1
08 8.3 基于模拟的搜索 done 1
08 8.3.1 简单蒙特卡罗搜索 done 1
08 8.3.2 蒙特卡罗树搜索 done 1
09 第9章 探索与利用 done 1
09 9.1 多臂游戏机 done 1
09 9.2 常用的探索方法 done 1
09 9.2.2 不确定行为优先探索 done 3
09 9.2.3 基于信息价值的探索 done 1
10 第10章 Alpha Zero算法实战 done 2
10 10.1 自博弈中的蒙特卡罗树搜索 done 3
10 10.2 模型评估中的蒙特卡罗搜索 done 1
10 10.3 策略价值网络结构及策略提升 done 1
10 10.4 编程实践:Alpha Zero算法在五子棋上的实现 done 0
10 10.4.1 从零开始搭建棋盘环境 done 1
10 10.4.2 搭建两种MCTS以实现Alpha Zero自博弈与模型评估 done 1
10 10.4.3 搭建策略价值网络并进行策略提升 done 1
10 10.4.4 训练自己的Alpha Zero模型 done 0

非正文排除

spine项 类型 排除理由
001 titlepage 封面 视觉封面
002 copyright.xhtml 版权页 出版信息及联系渠道
004 chapter1.xhtml 致谢 致谢名单及成书协助
005 chapter2.xhtml 符号索引 逐项查阅记号,解释见正文
006 chapter3.xhtml 算法索引 仅列算法名与所在章,各算法正文已列入计划
100 chapter97.xhtml 参考书目 书目索引,引用来源另登记

待关联术语

术语名 出现章节 一句话语境
次级强化子 1.1 强化学习的历史 时序差分的历史来源,未在此解释机制
Adam 6.2.2 梯度和梯度下降 提及为梯度更新方案,算法细节未在此展开
动量更新 6.2.2 梯度和梯度下降 提及为缓解更新问题的方案,未展开
傅里叶变换 6.3 常用的近似价值函数 列为近似相关方法,未展开
决策树 6.3 常用的近似价值函数 列为近似函数,未展开
KL散度 9.2.2 不确定行为优先探索 用来表述臂分布的可区分性及后悔下界,未推导散度定义
批量归一化 10.3 策略价值网络结构及策略提升 列作卷积和残差块组件,未展开机制

引用文献

标题 类型 出现章节 一句话语境
reinforce/codes_for_book 源码项目 前言 配套 Python 代码入口,书中给出仓库路径
Steps Toward Artificial Intelligence 论文 1.1 强化学习的历史 本节引作信用分配问题的来源
PyTorch 框架 1.4 编程环境与代码资源 作为书中实现工具给出
Gym 框架 1.4 编程环境与代码资源 作为环境交互工具给出
reinforce/codes_for_book 源码项目 1.4 编程环境与代码资源 给出配套完整代码地址
LeNet-5 源码项目 6.3.3 卷积神经网络近似 本节用其层结构说明卷积、池化和分类器组合
Delving Deep into Rectifiers 论文 7.5.2 Actor-Critic网络的实现 实验权重初始化辅助函数的参考来源
Mastering the Game of Go without Human Knowledge 论文 第10章 Alpha Zero算法实战 用作自博弈方法的历史出处
AlphaZero_Gomoku 源码项目 第10章 Alpha Zero算法实战 五子棋教学实现,第十章实践部分详细拆解
Richard S Sutton,Andrew G Barto.Reinforcement Learning:An introduction[M].The MIT Press,2012. 书 参考文献 书末条目 1,照录书内书目信息
Szepesvari C.Algorithms for Reinforcement Learning.Draft of the lecture published in the Synthesis Lectures on Artificial Intelligence and Machine Learning series by Morgan & Claypool Publishers,2009. 书 参考文献 书末条目 2,照录书内书目信息
Hasselt H,Guez A,Silver D.Deep Reinforcement Learning with Double Q-learning[EB/OL].arXiv:1509.06461v3[cs.LG],2015. 论文 参考文献 书末条目 3,照录书内书目信息
Timothy P,Lillicrap,Jonathan J Hunt,et al.Continuous Control with Deep Reinforcement Learning[EB/OL].arXiv:1509.02971v5 [cs.LG],2016. 论文 参考文献 书末条目 4,照录书内书目信息
Kaiming H,Xiangyu Zh,Shaoqing R,et al.Deep Residual Learning for Image Recognition [EB/OL].arXiv:1512.03385v1 [cs.CV],2015. 论文 参考文献 书末条目 5,照录书内书目信息
Kaiming H,Xiangyu Zh,Shaoqing R,et al.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification[EB/OL].arXiv:1502.01852v1 [cs.CV],2015. 论文 参考文献 书末条目 6,照录书内书目信息
Silver D,Lever G,Heess N.Deterministic Policy Gradient Algorithms[C].Proceedings of the 31st International Conference on Machine Learning,Beijing,China,2014. 论文 参考文献 书末条目 7,照录书内书目信息
LeCun Y,Bottou L,Bengio Y,et al.Gradient-Based Learning Applied to Document Recognition[C].Proc.of the IEEE,1998. 论文 参考文献 书末条目 8,照录书内书目信息
G M J-B Chaslot,S Bakkes,I Szita,et al.Monte-Carlo Tree Search:A New Framework for Game AI[C].Proc.Artif.Intell.Interact.Digital Entert.Conf.,Stanford Univ.,California,2008:216-217. 论文 参考文献 书末条目 9,照录书内书目信息
P Auer,N Cesa-Bianchi,P Fischer.Finite-time Analysis of the Multiarmed Bandit Problem[J].Mach.Learn.,2002,47(2):235-256. 论文 参考文献 书末条目 10,照录书内书目信息
Browne C B,Powley E,Whitehouse D,et al.A survey of monte carlo tree search methods[J].IEEE Transactions on Computational Intelligence and AI in games,2012,4(1):1-43. 论文 参考文献 书末条目 11,照录书内书目信息
Silver D,Schrittwieser J,Simonyan K,et al.Mastering the game of go without human knowledge[J].Nature,2017,550(7676):354. 论文 参考文献 书末条目 12,照录书内书目信息
Silver D,Hubert T,Schrittwieser J,et al.Mastering chess and shogi by self-play with a general reinforcement learning algorithm[J].arXiv preprint arXiv:1712.01815,2017. 论文 参考文献 书末条目 13,照录书内书目信息
Reinforcement Learning[EB/OL].https://www.youtube.com/playlist?list=PL7-jPKtc4r78-wCZcQn 5IqyuWhBZ8fOxT. 论文 参考文献 书末条目 14,照录书内书目信息
AlphaGo Zero:Starting from scratch[EB/OL].https://deepmind.com/blog/alphago-zero-learning-scratch/. 源码项目 参考文献 书末条目 15,照录书内书目信息
PyTorch Tutorials[EB/OL].https://pytorch.org/tutorials/. 论文 参考文献 书末条目 16,照录书内书目信息
AlphaZero-Gomoku[EB/OL].https://github.com/junxiaosong/AlphaZero_Gomoku. 论文 参考文献 书末条目 17,照录书内书目信息
Visualizing the Gradient Descent Method[EB/OL].https://scipython.com/blog/visualizing-the-gradient-descent-method/. 源码项目 参考文献 书末条目 18,照录书内书目信息
Gym,OpenAI[EB/OL].https://gym.openai.com/. 源码项目 参考文献 书末条目 19,照录书内书目信息

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 核对DQN回放与目标网 实现深读 done 06 计划与首轮源码映射
002 追踪五子棋自博弈样本 实现深读 done 10 计划与首轮源码映射

实践候选筛选:done

未采用完整复刻 DDPG 和长时间棋力训练。两条固定源码链路能覆盖本轮希望比较的自举、采样和策略标签,长训练的收益依赖设备和重复试验。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。