来源书籍
强化学习入门:从原理到实践
章节与卡片
01 1.4 编程环境与代码资源
9 张卡片
- 试错需要选择和联想 理解等级:中级 普通读书笔记卡
- 延迟奖励的信用分配 理解等级:初级 普通读书笔记卡
- 奖励把任务变成优化目标 理解等级:中级 普通读书笔记卡
- 观测不一定包含完整状态 理解等级:中级 普通读书笔记卡
- 确定性策略与随机策略 理解等级:初级 普通读书笔记卡
- 价值策略模型各管一事 理解等级:中级 普通读书笔记卡
- 学习用经验规划用模型 理解等级:中级 普通读书笔记卡
- 预测与控制的目标不同 理解等级:初级 普通读书笔记卡
- 交互反馈有别于动作标签 理解等级:中级 普通读书笔记卡
02 2.4.2 验证贝尔曼方程
10 张卡片
- 马尔可夫状态压缩历史 理解等级:中级 普通读书笔记卡
- 状态链采样与终止 理解等级:初级 普通读书笔记卡
- 折扣回报按时间加权 理解等级:中级 普通读书笔记卡
- 状态价值是回报期望 理解等级:中级 普通读书笔记卡
- 贝尔曼递推拆分一步 理解等级:中级 s)V(s′)。未来可能去多个地方,须把每个后继的价值按发生概率计入。有限状态写成 (I−γP)V=r 后可以解线性方程组。
- 固定策略诱导奖励过程 理解等级:中级 普通读书笔记卡
- 状态价值平均动作价值 理解等级:中级 普通读书笔记卡
- 只对可选动作取最大 理解等级:高级 普通读书笔记卡
- 吸收行会令整矩阵奇异 理解等级:高级 普通读书笔记卡
- 同一个回推可用于评估或优化 理解等级:中级 普通读书笔记卡
03 3.5.4 价值迭代
6 张卡片
- 动态规划复用子问题价值 理解等级:中级 普通读书笔记卡
- 同步评估每轮读取旧值 理解等级:中级 普通读书笔记卡
- 策略迭代交替评估改进 理解等级:中级 普通读书笔记卡
- 价值迭代直接做最优回推 理解等级:中级 普通读书笔记卡
- 异步回推选择更新顺序 理解等级:中级 普通读书笔记卡
- 小模型可以用函数存规则 理解等级:中级 普通读书笔记卡
04 4.4.5 策略评估
10 张卡片
- 蒙特卡罗以整回合回报估值 理解等级:中级 普通读书笔记卡
- 增量均值用误差修正旧值 理解等级:中级 普通读书笔记卡
- 一步时序差分即刻更新 理解等级:中级 普通读书笔记卡
- 自举与采样是不同维度 理解等级:高级 普通读书笔记卡
- 多步目标延后自举 理解等级:中级 普通读书笔记卡
- λ回报混合多步目标 理解等级:中级 普通读书笔记卡
- 效用迹在线回传误差 理解等级:中级 普通读书笔记卡
- 可用A影响要牌的后果 理解等级:中级 普通读书笔记卡
- 轨迹只记录可控决策 理解等级:中级 普通读书笔记卡
- 终局奖励可作整局样本目标 理解等级:中级 普通读书笔记卡
05 5.8.3 Q学习算法
13 张卡片
- 行为策略与目标策略 理解等级:中级 普通读书笔记卡
- 动作值允许直接改进策略 理解等级:中级 普通读书笔记卡
- ε贪婪混合两种采样 理解等级:中级 普通读书笔记卡
- GLIE兼顾覆盖和贪婪极限 理解等级:高级 普通读书笔记卡
- Sarsa按将执行的动作回推 理解等级:中级 普通读书笔记卡
- 动作效用迹按回合重置 理解等级:中级 普通读书笔记卡
- 动作迹加速终点奖励回传 理解等级:中级 普通读书笔记卡
- 重要性比率校正采样差异 理解等级:高级 普通读书笔记卡
- Q学习回推后继最大值 理解等级:中级 普通读书笔记卡
- 固定牌局可比较预测和控制 理解等级:中级 普通读书笔记卡
- 环境接口封装转移 理解等级:中级 延伸参考卡
- 经验要保留回合和转移 理解等级:中级 普通读书笔记卡
- 交互循环可复用更新算法 理解等级:中级 普通读书笔记卡
06 6.5.2 实现DQN求解PuckWorld问题
18 张卡片
- 状态离散分箱有维度成本 理解等级:高级 普通读书笔记卡
- 动作价值近似的输入输出 理解等级:中级 普通读书笔记卡
- 同一逼近器可换训练目标 理解等级:中级 普通读书笔记卡
- 学习率控制下降步长 理解等级:中级 普通读书笔记卡
- 查表是独热的线性近似 理解等级:中级 普通读书笔记卡
- TD目标可视为常数求导 理解等级:高级 普通读书笔记卡
- 激活使多层模型产生非线性 理解等级:中级 普通读书笔记卡
- 反向传播按层计算梯度 理解等级:中级 普通读书笔记卡
- 卷积共享局部检测规则 理解等级:中级 普通读书笔记卡
- 填充步长控制卷积尺寸 理解等级:中级 普通读书笔记卡
- 池化以局部统计缩减数据 理解等级:初级 普通读书笔记卡
- 经验回放打乱相邻转移 理解等级:中级 普通读书笔记卡
- 目标网降低自举目标漂移 理解等级:中级 普通读书笔记卡
- 双Q分开选动作和估值 理解等级:高级 普通读书笔记卡
- 先核对张量轴的意义 理解等级:中级 普通读书笔记卡
- 动态图记录实际计算路径 理解等级:中级 延伸参考卡
- 值网络输出无需概率归一化 理解等级:中级 普通读书笔记卡
- 终止掩码切断网络自举 理解等级:中级 普通读书笔记卡
07 7.5.5 DDPG算法在PuckWorld环境中的表现
11 张卡片
- 连续策略直接产生动作 理解等级:中级 普通读书笔记卡
- 观测重名会困住贪婪策略 理解等级:高级 普通读书笔记卡
- 策略梯度给回报好的动作加权 理解等级:中级 普通读书笔记卡
- 离散和连续策略如何采样 理解等级:中级 普通读书笔记卡
- 演员用评判信号改策略 理解等级:中级 普通读书笔记卡
- 状态基线估计动作优势 理解等级:高级 普通读书笔记卡
- DDPG用两对网络分工 理解等级:高级 普通读书笔记卡
- 动作接口应反映控制约束 理解等级:中级 普通读书笔记卡
- 连续演员用tanh约束动作 理解等级:中级 普通读书笔记卡
- 连续探索可加相关噪声 理解等级:中级 普通读书笔记卡
- 软更新让目标参数缓慢跟随 理解等级:中级 普通读书笔记卡
08 8.3.2 蒙特卡罗树搜索
5 张卡片
- 虚拟转移取自经验模型 理解等级:中级 普通读书笔记卡
- Dyna用真实经验带动规划 理解等级:中级 普通读书笔记卡
- 前向搜索从当前状态出发 理解等级:中级 普通读书笔记卡
- 简单搜索等额模拟根动作 理解等级:中级 普通读书笔记卡
- 树搜索复用中间节点统计 理解等级:中级 普通读书笔记卡
09 9.2.3 基于信息价值的探索
7 张卡片
- 探索可作用在动作或参数 理解等级:中级 普通读书笔记卡
- 后悔分解为次数乘差距 理解等级:中级 普通读书笔记卡
- 探索衰减速度影响覆盖 理解等级:高级 普通读书笔记卡
- 乐观初值引导早期试验 理解等级:中级 普通读书笔记卡
- UCB给不确定性额外权重 理解等级:高级 普通读书笔记卡
- 汤普森抽样按最优概率行动 理解等级:高级 普通读书笔记卡
- 信息价值取决于剩余机会 理解等级:高级 普通读书笔记卡
10 10.4.4 训练自己的Alpha Zero模型
10 张卡片
- 自博弈用搜索改进网络 理解等级:高级 普通读书笔记卡
- 零和棋局按执棋方记价值 理解等级:中级 普通读书笔记卡
- 树内先验与均值共同选边 理解等级:高级 普通读书笔记卡
- 叶节点估值沿路径回传 理解等级:中级 普通读书笔记卡
- 根访问次数形成策略标签 理解等级:中级 普通读书笔记卡
- 随机演局可作搜索基线 理解等级:中级 普通读书笔记卡
- 共享棋局特征分为双头 理解等级:中级 普通读书笔记卡
- 棋盘动作编码与观测对齐 理解等级:中级 普通读书笔记卡
- 落子探索与训练标签分开 理解等级:高级 普通读书笔记卡
- 策略价值网络学习两类标签 理解等级:高级 普通读书笔记卡
全书概览
强化学习入门:从原理到实践
Skill 版本:v24
执行模式:light
建档进度:done
评级:经典原理(高信息浓度、高稳定性)。试错与最优控制的结合、贝尔曼递推以及随序列反馈更新估计构成稳定主线。配套的具体框架和版本属于实验实现。
整书笔记 · 阅读覆盖
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 0 |
| 01 | 第1章 概述 | done | 0 |
| 01 | 1.1 强化学习的历史 | done | 2 |
| 01 | 1.2 强化学习的基本概念 | done | 7 |
| 01 | 1.3 章节组织 | done | 0 |
| 01 | 1.4 编程环境与代码资源 | done | 0 |
| 02 | 第2章 从一个示例到马尔可夫决策过程 | done | 0 |
| 02 | 2.1 马尔可夫过程 | done | 2 |
| 02 | 2.2 马尔可夫奖励过程 | done | 3 |
| 02 | 2.3 马尔可夫决策过程 | done | 3 |
| 02 | 2.4 编程实践:学生马尔可夫决策示例 | done | 0 |
| 02 | 2.4.1 收获和价值的计算 | done | 1 |
| 02 | 2.4.2 验证贝尔曼方程 | done | 1 |
| 03 | 第3章 动态规划寻找最优策略 | done | 1 |
| 03 | 3.1 策略评估 | done | 1 |
| 03 | 3.2 策略迭代 | done | 1 |
| 03 | 3.3 价值迭代 | done | 1 |
| 03 | 3.4 异步动态规划算法 | done | 1 |
| 03 | 3.5 编程实践:动态规划求解小型格子世界最优策略 | done | 0 |
| 03 | 3.5.1 小型格子世界MDP建模 | done | 1 |
| 03 | 3.5.2 策略评估 | done | 0 |
| 03 | 3.5.3 策略迭代 | done | 0 |
| 03 | 3.5.4 价值迭代 | done | 0 |
| 04 | 第4章 不基于模型的预测 | done | 0 |
| 04 | 4.1 蒙特卡罗强化学习 | done | 2 |
| 04 | 4.2 时序差分强化学习 | done | 2 |
| 04 | 4.3 n步时序差分学习 | done | 3 |
| 04 | 4.4 编程实践:蒙特卡罗学习评估21点游戏的玩家策略 | done | 0 |
| 04 | 4.4.1 21点游戏规则 | done | 0 |
| 04 | 4.4.2 将21点游戏建模为强化学习问题 | done | 1 |
| 04 | 4.4.3 游戏场景的搭建 | done | 1 |
| 04 | 4.4.4 生成对局数据 | done | 0 |
| 04 | 4.4.5 策略评估 | done | 1 |
| 05 | 第5章 无模型的控制 | done | 1 |
| 05 | 5.1 行为价值函数的重要性 | done | 1 |
| 05 | 5.2 贪婪策略 | done | 1 |
| 05 | 5.3 同策略蒙特卡罗控制 | done | 1 |
| 05 | 5.4 同策略时序差分控制 | done | 0 |
| 05 | 5.4.1 Sarsa算法 | done | 1 |
| 05 | 5.4.2 Sarsa(λ)算法 | done | 1 |
| 05 | 5.4.3 比较Sarsa和Sarsa(λ) | done | 1 |
| 05 | 5.5 异策略Q学习算法 | done | 2 |
| 05 | 5.6 编程实践:蒙特卡罗学习求解21点游戏的最优策略 | done | 1 |
| 05 | 5.7 编程实践:构建基于gym的有风的格子世界及个体 | done | 0 |
| 05 | 5.7.1 gym库简介 | done | 1 |
| 05 | 5.7.2 状态序列的管理 | done | 1 |
| 05 | 5.7.3 个体基类的编写 | done | 1 |
| 05 | 5.8 编程实践:各类学习算法的实现及与有风的格子世界的交互 | done | 0 |
| 05 | 5.8.1 Sarsa算法 | done | 0 |
| 05 | 5.8.2 Sarsa(λ)算法 | done | 0 |
| 05 | 5.8.3 Q学习算法 | done | 0 |
| 06 | 第6章 价值函数的近似表示 | done | 0 |
| 06 | 6.1 价值近似的意义 | done | 2 |
| 06 | 6.2 目标函数与梯度下降 | done | 1 |
| 06 | 6.2.2 梯度和梯度下降 | done | 1 |
| 06 | 6.3 常用的近似价值函数 | done | 0 |
| 06 | 6.3.1 线性近似 | done | 2 |
| 06 | 6.3.2 神经网络 | done | 2 |
| 06 | 6.3.3 卷积神经网络近似 | done | 3 |
| 06 | 6.4 DQN算法 | done | 3 |
| 06 | 6.5 编程实践:基于PyTorch实现DQN求解PuckWorld问题 | done | 2 |
| 06 | 6.5.1 基于神经网络的近似价值函数 | done | 1 |
| 06 | 6.5.2 实现DQN求解PuckWorld问题 | done | 1 |
| 07 | 第7章 基于策略梯度的深度强化学习 | done | 0 |
| 07 | 7.1 基于策略学习的意义 | done | 2 |
| 07 | 7.2 策略目标函数 | done | 2 |
| 07 | 7.3 Actor-Critic算法 | done | 2 |
| 07 | 7.4 深度确定性策略梯度算法 | done | 1 |
| 07 | 7.5 编程实践:DDPG算法实现 | done | 0 |
| 07 | 7.5.1 连续行为空间的PuckWorld环境 | done | 1 |
| 07 | 7.5.2 Actor-Critic网络的实现 | done | 1 |
| 07 | 7.5.3 确定性策略下探索的实现 | done | 1 |
| 07 | 7.5.4 DDPG算法的实现 | done | 1 |
| 07 | 7.5.5 DDPG算法在PuckWorld环境中的表现 | done | 0 |
| 08 | 第8章 基于模型的学习和规划 | done | 0 |
| 08 | 8.1 环境的模型 | done | 1 |
| 08 | 8.2 整合学习与规划——Dyna算法 | done | 1 |
| 08 | 8.3 基于模拟的搜索 | done | 1 |
| 08 | 8.3.1 简单蒙特卡罗搜索 | done | 1 |
| 08 | 8.3.2 蒙特卡罗树搜索 | done | 1 |
| 09 | 第9章 探索与利用 | done | 1 |
| 09 | 9.1 多臂游戏机 | done | 1 |
| 09 | 9.2 常用的探索方法 | done | 1 |
| 09 | 9.2.2 不确定行为优先探索 | done | 3 |
| 09 | 9.2.3 基于信息价值的探索 | done | 1 |
| 10 | 第10章 Alpha Zero算法实战 | done | 2 |
| 10 | 10.1 自博弈中的蒙特卡罗树搜索 | done | 3 |
| 10 | 10.2 模型评估中的蒙特卡罗搜索 | done | 1 |
| 10 | 10.3 策略价值网络结构及策略提升 | done | 1 |
| 10 | 10.4 编程实践:Alpha Zero算法在五子棋上的实现 | done | 0 |
| 10 | 10.4.1 从零开始搭建棋盘环境 | done | 1 |
| 10 | 10.4.2 搭建两种MCTS以实现Alpha Zero自博弈与模型评估 | done | 1 |
| 10 | 10.4.3 搭建策略价值网络并进行策略提升 | done | 1 |
| 10 | 10.4.4 训练自己的Alpha Zero模型 | done | 0 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 001 titlepage | 封面 | 视觉封面 |
| 002 copyright.xhtml | 版权页 | 出版信息及联系渠道 |
| 004 chapter1.xhtml | 致谢 | 致谢名单及成书协助 |
| 005 chapter2.xhtml | 符号索引 | 逐项查阅记号,解释见正文 |
| 006 chapter3.xhtml | 算法索引 | 仅列算法名与所在章,各算法正文已列入计划 |
| 100 chapter97.xhtml | 参考书目 | 书目索引,引用来源另登记 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 次级强化子 | 1.1 强化学习的历史 | 时序差分的历史来源,未在此解释机制 |
| Adam | 6.2.2 梯度和梯度下降 | 提及为梯度更新方案,算法细节未在此展开 |
| 动量更新 | 6.2.2 梯度和梯度下降 | 提及为缓解更新问题的方案,未展开 |
| 傅里叶变换 | 6.3 常用的近似价值函数 | 列为近似相关方法,未展开 |
| 决策树 | 6.3 常用的近似价值函数 | 列为近似函数,未展开 |
| KL散度 | 9.2.2 不确定行为优先探索 | 用来表述臂分布的可区分性及后悔下界,未推导散度定义 |
| 批量归一化 | 10.3 策略价值网络结构及策略提升 | 列作卷积和残差块组件,未展开机制 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| reinforce/codes_for_book | 源码项目 | 前言 | 配套 Python 代码入口,书中给出仓库路径 |
| Steps Toward Artificial Intelligence | 论文 | 1.1 强化学习的历史 | 本节引作信用分配问题的来源 |
| PyTorch | 框架 | 1.4 编程环境与代码资源 | 作为书中实现工具给出 |
| Gym | 框架 | 1.4 编程环境与代码资源 | 作为环境交互工具给出 |
| reinforce/codes_for_book | 源码项目 | 1.4 编程环境与代码资源 | 给出配套完整代码地址 |
| LeNet-5 | 源码项目 | 6.3.3 卷积神经网络近似 | 本节用其层结构说明卷积、池化和分类器组合 |
| Delving Deep into Rectifiers | 论文 | 7.5.2 Actor-Critic网络的实现 | 实验权重初始化辅助函数的参考来源 |
| Mastering the Game of Go without Human Knowledge | 论文 | 第10章 Alpha Zero算法实战 | 用作自博弈方法的历史出处 |
| AlphaZero_Gomoku | 源码项目 | 第10章 Alpha Zero算法实战 | 五子棋教学实现,第十章实践部分详细拆解 |
| Richard S Sutton,Andrew G Barto.Reinforcement Learning:An introduction[M].The MIT Press,2012. | 书 | 参考文献 | 书末条目 1,照录书内书目信息 |
| Szepesvari C.Algorithms for Reinforcement Learning.Draft of the lecture published in the Synthesis Lectures on Artificial Intelligence and Machine Learning series by Morgan & Claypool Publishers,2009. | 书 | 参考文献 | 书末条目 2,照录书内书目信息 |
| Hasselt H,Guez A,Silver D.Deep Reinforcement Learning with Double Q-learning[EB/OL].arXiv:1509.06461v3[cs.LG],2015. | 论文 | 参考文献 | 书末条目 3,照录书内书目信息 |
| Timothy P,Lillicrap,Jonathan J Hunt,et al.Continuous Control with Deep Reinforcement Learning[EB/OL].arXiv:1509.02971v5 [cs.LG],2016. | 论文 | 参考文献 | 书末条目 4,照录书内书目信息 |
| Kaiming H,Xiangyu Zh,Shaoqing R,et al.Deep Residual Learning for Image Recognition [EB/OL].arXiv:1512.03385v1 [cs.CV],2015. | 论文 | 参考文献 | 书末条目 5,照录书内书目信息 |
| Kaiming H,Xiangyu Zh,Shaoqing R,et al.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification[EB/OL].arXiv:1502.01852v1 [cs.CV],2015. | 论文 | 参考文献 | 书末条目 6,照录书内书目信息 |
| Silver D,Lever G,Heess N.Deterministic Policy Gradient Algorithms[C].Proceedings of the 31st International Conference on Machine Learning,Beijing,China,2014. | 论文 | 参考文献 | 书末条目 7,照录书内书目信息 |
| LeCun Y,Bottou L,Bengio Y,et al.Gradient-Based Learning Applied to Document Recognition[C].Proc.of the IEEE,1998. | 论文 | 参考文献 | 书末条目 8,照录书内书目信息 |
| G M J-B Chaslot,S Bakkes,I Szita,et al.Monte-Carlo Tree Search:A New Framework for Game AI[C].Proc.Artif.Intell.Interact.Digital Entert.Conf.,Stanford Univ.,California,2008:216-217. | 论文 | 参考文献 | 书末条目 9,照录书内书目信息 |
| P Auer,N Cesa-Bianchi,P Fischer.Finite-time Analysis of the Multiarmed Bandit Problem[J].Mach.Learn.,2002,47(2):235-256. | 论文 | 参考文献 | 书末条目 10,照录书内书目信息 |
| Browne C B,Powley E,Whitehouse D,et al.A survey of monte carlo tree search methods[J].IEEE Transactions on Computational Intelligence and AI in games,2012,4(1):1-43. | 论文 | 参考文献 | 书末条目 11,照录书内书目信息 |
| Silver D,Schrittwieser J,Simonyan K,et al.Mastering the game of go without human knowledge[J].Nature,2017,550(7676):354. | 论文 | 参考文献 | 书末条目 12,照录书内书目信息 |
| Silver D,Hubert T,Schrittwieser J,et al.Mastering chess and shogi by self-play with a general reinforcement learning algorithm[J].arXiv preprint arXiv:1712.01815,2017. | 论文 | 参考文献 | 书末条目 13,照录书内书目信息 |
| Reinforcement Learning[EB/OL].https://www.youtube.com/playlist?list=PL7-jPKtc4r78-wCZcQn 5IqyuWhBZ8fOxT. | 论文 | 参考文献 | 书末条目 14,照录书内书目信息 |
| AlphaGo Zero:Starting from scratch[EB/OL].https://deepmind.com/blog/alphago-zero-learning-scratch/. | 源码项目 | 参考文献 | 书末条目 15,照录书内书目信息 |
| PyTorch Tutorials[EB/OL].https://pytorch.org/tutorials/. | 论文 | 参考文献 | 书末条目 16,照录书内书目信息 |
| AlphaZero-Gomoku[EB/OL].https://github.com/junxiaosong/AlphaZero_Gomoku. | 论文 | 参考文献 | 书末条目 17,照录书内书目信息 |
| Visualizing the Gradient Descent Method[EB/OL].https://scipython.com/blog/visualizing-the-gradient-descent-method/. | 源码项目 | 参考文献 | 书末条目 18,照录书内书目信息 |
| Gym,OpenAI[EB/OL].https://gym.openai.com/. | 源码项目 | 参考文献 | 书末条目 19,照录书内书目信息 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 核对DQN回放与目标网 | 实现深读 | done | 06 | 计划与首轮源码映射 |
| 002 | 追踪五子棋自博弈样本 | 实现深读 | done | 10 | 计划与首轮源码映射 |
实践候选筛选:done
未采用完整复刻 DDPG 和长时间棋力训练。两条固定源码链路能覆盖本轮希望比较的自举、采样和策略标签,长训练的收益依赖设备和重复试验。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。