来源书籍

强化学习入门:从原理到实践

Skill 版本:v24 99 张卡片

叶强、闫维新、黎斌 · 机械工业出版社(纸版);华章分社(电子版) · 2020 · ISBN 978-7-111-66126-9

全书导读

这本书用可运行的例子介绍连续决策。先从格子世界理解状态、动作和反馈,再用数学模型解释怎样比较策略。学生学习、21 点、有风的格子世界、PuckWorld 和五子棋依次改变任务所需的表示及求解方法。

全书主线

强化学习根据动作的长期后果改进决策。第 1–2 章建立智能体、环境和价值的共同语言:策略决定动作,转移由环境决定,价值预期未来回报。第 3–5 章改变获取一步经验的方式,模型已知时按概率做动态规划,未知时用轨迹做蒙特卡罗或时序差分,再把估值反馈给动作选择。第 6–7 章用参数函数代替大表,并在动作连续时直接学习策略。第 8–10 章重新引入模型,用规划与探索把有限算力分给值得比较的未来,最终通过自博弈把搜索改进写回网络。

前言

前言说明写作缘起以及三段学习安排。第 1–5 章从概念进入表格型算法,第 6–9 章扩展表示和学习方式,第 10 章综合到棋类。配套代码用途是把数学描述变成可以逐步检查反馈与更新的程序。

第1章 概述

第 1 章将历史、基本术语和实验入口连在一起。试错提供经验,最优控制提供状态、价值及递推工具,下面的格子世界把两条线放在同一个任务里。

1.1 强化学习的历史

试错学习关注行为后果如何改变后续选择,最优控制研究如何用价值递推寻找长期更优的决策。延迟成败会逼出归因问题,时序差分提供用相邻预测传递信息的线索。Q 学习把从经验更新与优化动作选择结合起来。

相关知识卡:试错需要选择和联想、延迟奖励的信用分配。

原书依据 · 2 处

1.2 强化学习的基本概念

格子世界把最短路变成试错任务。小球收到当前位置的观测,选动作后由环境决定新位置并返回即时奖励。每次非终点移动扣分,让省步数成为长期目标。策略负责选动作,价值用于比较未来,模型用于模拟某次动作的后果。固定策略求价值属于预测,挑选更好策略属于控制。环境给出的信息可能不够,探索可减少对未知动作的盲区。

相关知识卡:奖励把任务变成优化目标、观测不一定包含完整状态、确定性策略与随机策略、价值策略模型各管一事、学习用经验规划用模型、预测与控制的目标不同、交互反馈有别于动作标签。

原书依据 · 7 处

1.3 章节组织

这一节用一本书的章节安排串起概念、表格算法、深度方法、规划和探索。第 5 章负责把前面的评估扩展到自主改进策略,第 10 章展示多种机制怎样在棋类中共同作用。

1.4 编程环境与代码资源

书中使用 Python、PyTorch 和 Gym,正文展示必要代码,完整例程另有来源。安装及接口版本属于复现条件,需在实际执行计划里记录。

第2章 从一个示例到马尔可夫决策过程

第 2 章把交互任务写成概率模型。环境的真实状态有时不可见,只有当所用状态能支持后续转移预测时,才能用同一套马尔可夫递推。下面先描述随机状态序列,再加奖励,最后使动作进入模型。

2.1 马尔可夫过程

马尔可夫过程维护一张转移概率表,每行给出从一个当前状态可能去往的各状态。学生例子既可能从第一节课进入第二节课,也可能开始刷手机。刷手机状态有很高的自循环概率,休息退出则是吸收状态。重复抽取转移可生成不同的学生轨迹。

相关知识卡:马尔可夫状态压缩历史、状态链采样与终止。

原书依据 · 2 处

2.2 马尔可夫奖励过程

奖励过程为状态序列加上即时反馈。单条轨迹在某时刻之后的折扣奖励之和叫回报,不同抽样可能产生不同回报。对从同一状态开始的这些回报求期望,得到状态价值。贝尔曼方程把价值拆成眼前奖励和下一状态价值的折扣期望,给定有限模型后可写成线性方程组。

相关知识卡:折扣回报按时间加权、状态价值是回报期望、贝尔曼递推拆分一步。

原书依据 · 3 处

2.3 马尔可夫决策过程

动作使转移概率和奖励都变成条件量。给定策略后,可以把动作按选择概率求平均,得到它诱导的奖励过程。状态价值在起点也按策略选动作,动作价值则先指定第一步,后续才按策略。求最优时可挑动作,选定动作后的环境结果依然按概率求平均。

相关知识卡:固定策略诱导奖励过程、状态价值平均动作价值、只对可选动作取最大。

原书依据 · 3 处

2.4 编程实践:学生马尔可夫决策示例

练习分成两套模型。先在只有转移与奖励的七状态例子里验算回报和线性解,再在有动作的五状态例子里对比固定策略和最优策略。

2.4.1 收获和价值的计算

实现用矩阵行列表示起点和后继,另用字典连接状态名和编号。回报函数按轨迹中的起始下标累加折扣奖励。价值函数求逆时,含吸收状态的整体矩阵在折扣系数为 1 时不可逆。书中改用接近 1 的系数做数值对照。

相关知识卡:吸收行会令整矩阵奇异。

原书依据 · 1 处

2.4.2 验证贝尔曼方程

代码将转移概率按当前状态、动作、下一状态存入字典,奖励按当前状态和动作索引。固定策略把各个 Q 值按概率加权,价值迭代把它替换成合法动作中的最大值。使用书中模型计算得到第 3 节课的均匀策略估值约 7.38,最优值 10。泡吧 +1 以实际代码的设定和输出为准,行末注释出现符号不一致。

相关知识卡:同一个回推可用于评估或优化。

原书依据 · 1 处

第3章 动态规划寻找最优策略

动态规划把遇到的子问题记在价值函数里,并按贝尔曼关系反复复用。给定奖励和转移模型后,评估与求最优都可直接计算。全宽回推昂贵时,本章的分解思路仍可用于后续的采样方法。

相关知识卡:动态规划复用子问题价值。

原书依据 · 1 处

3.1 策略评估

策略评估把策略固定,分别用当前动作概率和后继转移概率算一步期望。同步迭代让整轮都读上轮价值。4×4 格子世界以每步 -1 与终点价值 0 表示到达角落的任务,均匀随机策略下的负价值反映平均还需走多少步。

相关知识卡:同步评估每轮读取旧值。

原书依据 · 1 处

3.2 策略迭代

从给定策略的价值出发,逐状态比较改走一步后再按旧策略行动的回报。贪婪改进至少不差于旧规则,在模型明确时可重复评估与改进。若贪婪改进已不能提高固定点的价值,它满足最优方程。

相关知识卡:策略迭代交替评估改进。

原书依据 · 1 处

3.3 价值迭代

价值迭代每轮直接做贝尔曼最优回推,不先为某个固定策略求到稳定。只有左上角一个终点的格子例中,价值 0 向外传播,最优值最终是到终点的最短步数取负。即使不指定更新前沿,仍需模型来算各动作的一步结果。

相关知识卡:价值迭代直接做最优回推。

原书依据 · 1 处

3.4 异步动态规划算法

异步方法改变访问顺序与频次。原位更新可立即复用本轮新值,按贝尔曼误差排序可优先处理变化大处,实时 DP 更常更新实际经过的状态。选少量待更新状态仍可对单个状态用模型做全宽回推。

相关知识卡:异步回推选择更新顺序。

原书依据 · 1 处

3.5 编程实践:动态规划求解小型格子世界最优策略

实验比较策略评估、交替改进和价值迭代,采用同一张格子地图,方便从结果追踪更新规则的影响。

3.5.1 小型格子世界MDP建模

代码用函数按需生成转移及奖励,状态编号从 0 到 15。撞边停在原地,进入终点相邻步仍扣分。策略共用查询接口,极值动作并列时均分概率。代码的更新在复制出的表上逐格读写,轮内已更新的值立即可见。

相关知识卡:小模型可以用函数存规则。

原书依据 · 1 处

3.5.2 策略评估

书中输出展示同一个状态随策略改变而具有不同价值。均匀随机时从相邻格往往也要走许多步,贪婪更新得到的表则体现最短路径。例程的贪婪动作依赖正在变化的值表,不能把那部分当成纯固定策略的同步评估。

3.5.3 策略迭代

实验每做一轮价值更新就使用贪婪规则,得到与两个终点的最短步数对应的负值。这个实现采用截短评估,和先完整评估某个固定策略再改善的表述有差别。

3.5.4 价值迭代

书中的价值迭代例程在给定初值及小型地形上得到最优值。随后读取各状态的最优行为,字符串中的多个方向对应同值,并且两个终止状态下列出的动作无需实际执行。

第4章 不基于模型的预测

第 4 章在无法直接读取模型时仍然做预测。用交互轨迹代替对转移分布的全宽求和,进一步分别考查使用整段真实回报与用后继估值补齐回报两种选择。

4.1 蒙特卡罗强化学习

蒙特卡罗估计从完整回合读取实际回报。一个状态在回合里反复出现时,可每回合只取第一次的回报,也可纳入每次访问。增量均值避免存全部历史回报。

相关知识卡:蒙特卡罗以整回合回报估值、增量均值用误差修正旧值。

原书依据 · 2 处

4.2 时序差分强化学习

TD 用下一状态估值补齐尚未知晓的剩余回报。驾车例中已耗时间加后继预计剩余时间,就能给前一个状态新的目标,MC 则到家后用实际剩余时间更新。A、B 示例说明共享 B 的估计如何把多次观测的信息传回 A。评价 MC、TD 和 DP 时可以分别看是否采样、是否自举以及回推范围。

相关知识卡:一步时序差分即刻更新、自举与采样是不同维度。

原书依据 · 2 处

4.3 n步时序差分学习

一步 TD 只等一次转移,n 步目标等 n 次转移,将中间真实奖励和最后的预估接起来。λ 回报再对多个步长加权,回合终点吸收未分配权重。反向效用迹同时保留访问次数和新近程度,每次获得 TD 误差即可更新先前经过的状态。前后向等价需注意回合结束统一更新与在线更新的差别。

相关知识卡:多步目标延后自举、λ回报混合多步目标、效用迹在线回传误差。

原书依据 · 3 处

4.4 编程实践:蒙特卡罗学习评估21点游戏的玩家策略

21 点实践把预测拆成建模、按策略生成对局和根据结果估值。采样器和估计器分开,之后可以换用会调整策略的玩家。

4.4.1 21点游戏规则

实验选用庄家与玩家各一人的规则,数字牌按点数,花牌按 10,A 可以算 1 或 11。玩家看到庄家首张明牌并决定要牌或停牌,最后按规则判分。后面的代码对玩家爆点直接结束,因此要以实验代码的胜负规则解释所产数据。

4.4.2 将21点游戏建模为强化学习问题

状态由庄家明牌、玩家总点数和可用 A 构成。可用意味着 A 目前按 11 计,并可在后面改按 1,给要牌留余地。两个动作是要牌或停牌。奖励在终局给出,玩家到 20 点即停,庄家到 17 点即停。

相关知识卡:可用A影响要牌的后果。

原书依据 · 1 处

4.4.3 游戏场景的搭建

Gamer 维护手牌与计分。Dealer 和 Player 基于同一计分逻辑提供各自的策略。Arena 管发牌、回收、判分和完整轨迹,将玩家的决策与输赢分开存。玩家停牌后庄家的动作仍会改变结果,但无需记成玩家决策。若预设策略总能终止,可先生成回合再统一估值。

相关知识卡:轨迹只记录可控决策。

原书依据 · 1 处

4.4.4 生成对局数据

固定策略采样器批量产生 20 万局。书中输出展示胜、负、和的计数以及胜率和不输率,随机发牌意味着这些数值只是该次运行的例子。

4.4.5 策略评估

每个被访问的玩家状态用该回合的终局奖惩作为回报,因为中间奖励为零且无折扣。访问计数和价值一起更新,再按是否有可用 A 分开画曲面。未采样状态的默认值在图中也可能是零,解释图形时须结合计数。

相关知识卡:终局奖励可作整局样本目标。

原书依据 · 1 处

第5章 无模型的控制

第 5 章开始从评估既定规则走向用交互改善规则。产生实际动作的行为策略决定数据来自哪里,目标策略决定学习想评价或改进什么。两者可以相同,也可以让数据保留探索而目标继续贪婪。

相关知识卡:行为策略与目标策略。

原书依据 · 1 处

5.1 行为价值函数的重要性

没有环境概率时,单独知道各个后继状态价值通常无法算出选动作的效果。采集采取特定动作后的回报,可直接估计状态动作值。每局或每步都可重新利用估计改进策略,具体取决于目标构造。

相关知识卡:动作值允许直接改进策略。

原书依据 · 1 处

5.2 贪婪策略

完全贪婪容易长期忽略估值过低或从未见过的动作。ϵ 贪婪保留少量随机机会,能不断取得备选动作样本。餐馆例中的一次低评分可能被永久锁定,新餐馆还可能一次都没被尝试。

相关知识卡:ε贪婪混合两种采样。

原书依据 · 1 处

5.3 同策略蒙特卡罗控制

同策略 MC 控制用探索策略采完整回合,按状态动作对的实际回报更新 Q,再按新估计调整策略。GLIE 要求随训练趋向贪婪,同时相关的状态动作对仍有无穷多访问。

相关知识卡:GLIE兼顾覆盖和贪婪极限。

原书依据 · 1 处

5.4 同策略时序差分控制

TD 的控制版本把每条转移用来更新 Q,更新目标仍取决于采样和价值自举。随后两小节分别看单步 Sarsa 和带动作迹的 Sarsa。

5.4.1 Sarsa算法

Sarsa 用当前状态、动作、奖励、后继状态、后继动作这五项计算 TD 误差。后继动作按实际行为策略选出并将在下一步执行,因此估值考虑了探索。在有风的格子世界里,能通过实际轨迹学到先借风向北再折返的 15 步路线。

相关知识卡:Sarsa按将执行的动作回推。

原书依据 · 1 处

5.4.2 Sarsa(λ)算法

Sarsa 的多步目标将最后的状态估值换成状态动作估值。混合步长可从前向用 λ 回报理解,也可每步把误差分给非零的状态动作迹。回合结束清空迹,价值表继续保留。

相关知识卡:动作效用迹按回合重置。

原书依据 · 1 处

5.4.3 比较Sarsa和Sarsa(λ)

首次走到终点且只有终点有奖时,一步 Sarsa 的首次非零更新发生在最后一个状态动作对。带迹算法可在同一回合里更新许多先前动作。要学最短路,奖励还应反映步数,否则发现的可行路线未必最短。

相关知识卡:动作迹加速终点奖励回传。

原书依据 · 1 处

5.5 异策略Q学习算法

一般异策略 TD 可用目标与行为概率之比调整样本对更新的影响。Q 学习用另一种构造:实际继续探索,后继目标直接取可达状态的最大 Q。悬崖例中,Sarsa 会把继续探索时误入悬崖的风险计进估值,Q 学习则仍可估出沿边的贪婪路径。

相关知识卡:重要性比率校正采样差异、Q学习回推后继最大值。

原书依据 · 2 处

5.6 编程实践:蒙特卡罗学习求解21点游戏的最优策略

练习复用 21 点的庄家与环境,改造玩家使其保存 Q、动作访问次数和训练轮数。每一局完结便用终局回报更新,再据 Q 及衰减探索率选下一局的动作。近乎贪婪画出的策略在未充分访问的状态会有散点。

相关知识卡:固定牌局可比较预测和控制。

原书依据 · 1 处

5.7 编程实践:构建基于gym的有风的格子世界及个体

下三节按环境接口、经验记录和智能体三个层次整理有风格子世界,后面用同一环境比较几个更新算法。

5.7.1 gym库简介

书中的 Gym 版用 Env 提供交互,用 Space 约定观测和动作的范围。Discrete 表示有限个编号,Box 描述按维度定义的区间。书中 step 返回四项,reset 准备初始状态,render 提供可视化,seed 提供随机控制。复现实验应先记录实际接口版本。

相关知识卡:环境接口封装转移。

原书依据 · 1 处

5.7.2 状态序列的管理

最小转移记录是旧状态、动作、奖励、终止标记、后继状态。相邻记录形成回合,多个回合进入有容量的经验对象。MC 需要保留顺序完整的回合,单步 TD 可以使用经验中不连续的转移。

相关知识卡:经验要保留回合和转移。

原书依据 · 1 处

5.7.3 个体基类的编写

Agent 接收环境引用并在行动时记住旧状态和转移结果。基类仅随机选动作,不调整参数,但提供回合步数、累计奖励和训练统计,后续子类替换策略和学习方法即可。大量交互关掉显示可节省时间。

相关知识卡:交互循环可复用更新算法。

原书依据 · 1 处

5.8 编程实践:各类学习算法的实现及与有风的格子世界的交互

这节把共同的字典和贪婪方法、环境规则、智能体基类分别导入。三个子类在同一套平台上比较。

5.8.1 Sarsa算法

Sarsa 例程先按策略抽取首动作,并在 step 后抽下一动作。TD 更新后直接把下一动作放进下次循环。书中读默认零的终点 Q,通用实现应显式保证终点不自举。

5.8.2 Sarsa(λ)算法

Sarsa(λ)每轮新增零迹表,单步先算 TD 误差,再给当前迹加一并遍历状态动作表更新。实际有值的只是在本局被走过的对,可据此分析每步计算量。

5.8.3 Q学习算法

Q 学习的实现用探索策略挑交互动作,用贪婪动作估后继。书中同时给出有风格子世界的训练和显示入口,悬崖环境还可对比两种学习目标。第一次找到目标可能要很多交互,显示开关不等价于是否继续训练。

第6章 价值函数的近似表示

离散小任务可以给每个状态动作对独立存值。面对连续状态时,改为以特征预测价值,将存储和求解转成设计函数、拟合有限参数的问题。线性或非线性模型均可选。

6.1 价值近似的意义

PuckWorld 用自身位置、速度和目标位置组成六维连续观测。按每维 100 格和 4 个动作建表,会产生 4 万亿项。函数近似用共享参数替代大表,可输出状态价值、指定动作价值,或一次返回所有离散动作的价值。

相关知识卡:状态离散分箱有维度成本、动作价值近似的输入输出。

原书依据 · 2 处

6.2 目标函数与梯度下降

价值训练用样本目标和当前估计之间的平方误差。完整回报可作 MC 的目标,TD 使用奖励加自举,λ 方法还可用多步混合回报。同一价值模型可换不同目标,低训练损失也需要结合样本覆盖解释。

相关知识卡:同一逼近器可换训练目标。

原书依据 · 1 处

6.2.2 梯度和梯度下降

梯度把参数各方向的局部斜率合成向量。梯度下降沿相反方向迈小步,重复更新。书中二次函数从负坐标走向最优点,在步长增大后出现振荡。零梯度只表明驻点,非凸情况下仍要检查其性质。

相关知识卡:学习率控制下降步长。

原书依据 · 1 处

6.3 常用的近似价值函数

线性近似把特征直接加权,非线性模型则可学习更复杂的响应。各方法应随数据结构选择,状态有空间布局时,后面用卷积来处理。

6.3.1 线性近似

线性价值是特征向量与权重的点积,更新对出现的特征按 TD 误差分摊。用独热特征时,每个状态只触及自己的参数,退化为查表。把由估值算出的目标当常数才能得到书中的更新。

相关知识卡:查表是独热的线性近似、TD目标可视为常数求导。

原书依据 · 2 处

6.3.2 神经网络

神经元把加权输入加上偏置,再过非线性激活。全连接逐层组合特征,前向生成预测,反向按链式关系传递损失梯度。训练可逐样本、全批或小批量更新,权衡单步方差和开销。

相关知识卡:激活使多层模型产生非线性、反向传播按层计算梯度。

原书依据 · 2 处

6.3.3 卷积神经网络近似

卷积核在棋盘各处套用相同权重。水平三连可用三个 1 的滤器检出,二维滤器能沿对角线检出。步长与填充控制输出尺寸,多个核形成多个通道。池化将局部值取最大或均值。LeNet-5 展示卷积、池化和全连接如何搭配。

相关知识卡:卷积共享局部检测规则、填充步长控制卷积尺寸、池化以局部统计缩减数据。

原书依据 · 3 处

6.4 DQN算法

DQN 把一步贪婪价值回推变成网络拟合,缓存转移并随机抽小批量。目标网络让训练标签变化得更慢。DDQN 进一步用在线网选动作、目标网评估所选动作,以缓解取最大值造成的高估。

相关知识卡:经验回放打乱相邻转移、目标网降低自举目标漂移、双Q分开选动作和估值。

原书依据 · 3 处

6.5 编程实践:基于PyTorch实现DQN求解PuckWorld问题

PyTorch 支持张量计算并为可微运算记录梯度关系。标量、向量、矩阵都可视为不同阶的张量。PuckWorld 的向量输入和动作值输出由小型全连接网络连接起来。

相关知识卡:先核对张量轴的意义、动态图记录实际计算路径。

原书依据 · 2 处

6.5.1 基于神经网络的近似价值函数

线性层、ReLU 和线性输出实现逐动作估值。输入兼容单条和批数据。训练先前向和算损失,再清梯度、反传、更新参数。另可复制估计器用于目标网络。

相关知识卡:值网络输出无需概率归一化。

原书依据 · 1 处

6.5.2 实现DQN求解PuckWorld问题

实现从回放拼出状态、动作、奖励、终止位与后继状态。只把实际动作的列替换为 TD 目标,终止掩码关闭该样本的后继估值。示例每次小批量后复制目标网,评估阶段用很小学习率仍会更新,严格评估应冻结权重。

相关知识卡:终止掩码切断网络自举。

原书依据 · 1 处

第7章 基于策略梯度的深度强化学习

动作从有限选项换成连续向量后,一个输出对应一个动作的网络无法再枚举选项。直接参数化策略,使网络给出动作或动作分布,演员评判架构还能用一个估值器指导策略改进。

7.1 基于策略学习的意义

PuckWorld 可把施力改成两个连续分量。直接生成动作可以避开每一步在连续域搜索最大 Q 的开销。观测相同的灰格需要不同动作,纯确定性规则可能陷入循环。随机策略可打破循环,却无法凭空补回缺失信息。石头剪刀布则说明不可预测本身可能有益。

相关知识卡:连续策略直接产生动作、观测重名会困住贪婪策略。

原书依据 · 2 处

7.2 策略目标函数

回合任务可最大化起点回报,持续任务可用稳态加权价值或平均奖励。用对数动作概率的梯度乘相应价值,估计哪个参数方向能提高期望。离散动作可由 Softmax 分配概率,连续动作可从以策略输出为均值的高斯分布采样。MC 策略梯度用完整回报,方差可能较高。

相关知识卡:策略梯度给回报好的动作加权、离散和连续策略如何采样。

原书依据 · 2 处

7.3 Actor-Critic算法

演员负责采样动作,评判家估计动作质量并学习参数。用与动作无关的状态基线可降低梯度估计方差。动作价值减去按策略平均的状态价值称优势,使用真实 V 的一步 TD 误差可估计它。实际用近似评判家仍会有偏差,书中另给出兼容近似条件。

相关知识卡:演员用评判信号改策略、状态基线估计动作优势。

原书依据 · 2 处

7.4 深度确定性策略梯度算法

DDPG 令演员直接输出连续动作,评判家输入状态动作并估 Q。在线一对更新学习参数,目标一对产生自举标签。训练动作另加探索噪声;算法不要求每步枚举连续动作。

相关知识卡:DDPG用两对网络分工。

原书依据 · 1 处

7.5 编程实践:DDPG算法实现

实验将 PuckWorld 的动作接口换成连续向量,先实现两类网络与探索,再把回放和参数更新装进智能体。

7.5.1 连续行为空间的PuckWorld环境

每步先用速度更新位置,再模拟摩擦、施力和边界反弹。连续向量的两个分量是横纵推力。间隔到达时移动目标,奖励由目标距离与阈值计算,达到阈值会结束回合。

相关知识卡:动作接口应反映控制约束。

原书依据 · 1 处

7.5.2 Actor-Critic网络的实现

评判家分别编码状态和动作,再拼接输出标量 Q。演员直接从状态生成动作各分量,用 tanh 和动作上限缩放约束输出。初始化一并限制初始权重幅度。

相关知识卡:连续演员用tanh约束动作。

原书依据 · 1 处

7.5.3 确定性策略下探索的实现

离散 ε 随机动作替换为连续输出附近的噪声。书中 OU 噪声保有上一时刻的值并向均值回拉,因此扰动具有时间相关性。回合开始可重置其内部状态。

相关知识卡:连续探索可加相关噪声。

原书依据 · 1 处

7.5.4 DDPG算法的实现

初始化时硬复制在线参数,随后从记忆抽小批量拟合评判家,并提高评判家给在线演员动作的估值。对目标网做加权小步跟随。示例的 TD 目标没有生效的终止掩码,按其环境终点建模复现时应显式处理。

相关知识卡:软更新让目标参数缓慢跟随。

原书依据 · 1 处

7.5.5 DDPG算法在PuckWorld环境中的表现

书中记录连续 PuckWorld 训练曲线,并给出加载保存权重与渲染的步骤。关闭探索仅意味着取消动作噪声,示例仍调用学习方法。若要评估冻结策略,应另外禁用梯度更新。

第8章 基于模型的学习和规划

已知可模拟的规则或从真实经验拟合的模型,都能在行动前预测不同选择的后果。模型提供虚拟轨迹,实际轨迹可检验假设并继续改进模型。

8.1 环境的模型

模型近似环境的状态转移与奖励。离散情形可对同一状态动作下出现的后继计频率并估奖励,也可拟合参数模型。给定模型后可以直接规划或从中采样使用 MC 与 TD。模型近似误差会影响规划得到的策略。

相关知识卡:虚拟转移取自经验模型。

原书依据 · 1 处

8.2 整合学习与规划——Dyna算法

Dyna-Q 在每次真实交互后做一次直接 Q 更新,同时更新模型。随后从已经见过的状态动作中抽多个,用模型生成的转移继续更新 Q。伪代码使用确定性环境下的上次结果模型。

相关知识卡:Dyna用真实经验带动规划。

原书依据 · 1 处

8.3 基于模拟的搜索

模拟搜索以当前状态为起点,关注下一次实际选择。可从模型产生路径,再用 MC 或 TD 回推。与全局规划相比,计算更集中在当前状态可达的区域。

相关知识卡:前向搜索从当前状态出发。

原书依据 · 1 处

8.3.1 简单蒙特卡罗搜索

简单 MC 搜索为每个候选根动作分配相同数量的完整模拟,每次先走指定动作,之后按模拟策略运行,以平均回报比较根动作。增大样本能改善估计,但开销随动作数增加。

相关知识卡:简单搜索等额模拟根动作。

原书依据 · 1 处

8.3.2 蒙特卡罗树搜索

树搜索将路径上的状态动作统计复用。已展开节点用树内规则权衡估值与探查,新分支在默认策略下续走。随着模拟增加,树既长深也变宽,并把更多开销放在有价值或仍不确定的分支。

相关知识卡:树搜索复用中间节点统计。

原书依据 · 1 处

第9章 探索与利用

探索用一部分当期回报换信息,利用则按当前知识做最有价值的动作。探索可以扰动动作,也可以改动策略参数,使多步行为共同变化。多臂老虎机用于单独研究这个取舍。

相关知识卡:探索可作用在动作或参数。

原书依据 · 1 处

9.1 多臂游戏机

多臂老虎机不需要状态转移,只观察被选臂的随机奖励。最优臂的期望奖励与选中臂的期望之差为单步期望后悔,累加后可分解为每臂次数乘价值差。固定 ε 持续分配试错,纯贪婪则可能锁在次优臂。

相关知识卡:后悔分解为次数乘差距。

原书依据 · 1 处

9.2 常用的探索方法

衰减 ε 在训练早期多取样,后期逐渐加重利用。书中的理论衰减式依赖未知的臂价值差,工程上多试可核验的日程,并对比覆盖与后悔曲线。

相关知识卡:探索衰减速度影响覆盖。

原书依据 · 1 处

9.2.2 不确定行为优先探索

乐观初值通过高起点给未尝试臂机会。UCB 给均值加上随样本数缩小的探索奖励,样本少的臂更容易被试。概率匹配按一个动作是最优的后验概率选取。书中的按历史最高奖励频率例子不能代替一般的后验抽样。

相关知识卡:乐观初值引导早期试验、UCB给不确定性额外权重、汤普森抽样按最优概率行动。

原书依据 · 3 处

9.2.3 基于信息价值的探索

信息能改善多少后续选择,决定额外采样值不值。离预算耗尽只有几次时较少有机会收回探索成本,剩余数千次时一条信息可以改变很多选择。可把信息摘要作为新的状态,转移表示又取得一次观测。

相关知识卡:信息价值取决于剩余机会。

原书依据 · 1 处

第10章 Alpha Zero算法实战

第 10 章将可模拟的棋盘、状态近似、探索与终局反馈合在一起。双方轮流落子,合法动作决定下一个状态,胜负只在终点给出。网络为当前状态提供落子先验和价值,树搜索用模拟改善动作分布,自博弈用改善后的分布生成棋局,再以搜索结果和输赢训练网络。

相关知识卡:自博弈用搜索改进网络、零和棋局按执棋方记价值。

原书依据 · 2 处

10.1 自博弈中的蒙特卡罗树搜索

一次落子前可从根执行多次模拟。沿 Q 加先验探索项选择子节点,对非终止叶子评估并扩展,终止叶使用实际结果。随后沿原路径回传计数和价值。根访问次数经温度转换成为落子分布。旋转和镜像应同步变换动作坐标。

相关知识卡:树内先验与均值共同选边、叶节点估值沿路径回传、根访问次数形成策略标签。

原书依据 · 3 处

10.2 模型评估中的蒙特卡罗搜索

纯 MCTS 对叶子继续随机落子到结果出现,神经网络引导的 MCTS 用网络预测避免每次走到终盘。两者的树内选择与回传可共享类似结构。评估时把纯搜索作为基线,设置搜索预算和对局数,胜率饱和后再提高对手难度。

相关知识卡:随机演局可作搜索基线。

原书依据 · 1 处

10.3 策略价值网络结构及策略提升

围棋网络把当前方与对方的历史棋面和执棋信息通道送进共享残差卷积主体。策略头分配落子概率,价值头预测终局结果,输出标量约束在 −1 到 1。棋面历史有助于表示规则需要的重复局面信息。

相关知识卡:共享棋局特征分为双头。

原书依据 · 1 处

10.4 编程实践:Alpha Zero算法在五子棋上的实现

书中用 8×8 五子棋讲解可在较小算力下理解的 AlphaZero 思路。例程由棋盘、自博弈搜索、纯搜索对手、训练网络几个部分组成。它保留核心循环,棋盘、网络和规则都按教学实验缩小。

10.4.1 从零开始搭建棋盘环境

棋盘管理合法落子、轮换执棋方和四方向连线。行列与一维动作号互相转换。网络输入用当前方、对方、上一步落子、执棋信息四个平面。自博弈保存落子前的特征、访问分布和执棋方,终局按执棋方回填胜负。

相关知识卡:棋盘动作编码与观测对齐。

原书依据 · 1 处

10.4.2 搭建两种MCTS以实现Alpha Zero自博弈与模型评估

神经搜索维护边的先验、均值及访问数,每次模拟复制真实棋盘并在副本落子。自博弈可对根访问分布加狄利克雷噪声选实际动作,训练目标保存加噪前的分布。纯搜索的叶估值来自随机终盘。原理节与所示纯搜索代码的扩展时点存在差异,代码对非终止叶即扩展。

相关知识卡:落子探索与训练标签分开。

原书依据 · 1 处

10.4.3 搭建策略价值网络并进行策略提升

小型五子棋模型用三层卷积共享棋盘特征。策略头输出落子对数概率,价值头预测当前方结果。训练以搜索分布给策略损失、以对局结果给价值均方损失,优化器另负责 L2 正则。搜索时只将合法位置的概率交给树。

相关知识卡:策略价值网络学习两类标签。

原书依据 · 1 处

10.4.4 训练自己的Alpha Zero模型

最后给出训练和人机对弈的入口与运行示意。配套实现涉及若干历史依赖,执行前先确认采用的后端和版本。截图只能说明示例运行效果,训练质量应由相同条件下的对照对局评估。

跨章综合

如何读懂一个新算法。 先问数据来自真实交互、可计算的模型,还是树上的虚拟采样。再问训练目标是实际回报、后继估值,还是搜索分布。最后区分用什么策略采样、用什么规则定学习目标、如何独立评估结果。

回推的共同骨架。 贝尔曼方程将一步奖励和后续价值拆开。动态规划枚举模型后继,一步 TD 抽一个后继,n 步法延后自举。目标网络减缓了标签变化,效用迹则把新误差传给仍与之相关的先前经历,两者解决的是不同问题。

表达能力与数据覆盖。 共享特征能在相似状态之间推广,但观测若漏掉动作所需的信息,增加模型容量也无法区分这些观察。探索补的是经历覆盖,模型拟合和网络训练补的是对经历的表示。五子棋实例同时利用规则、搜索统计与网络近似,仍需明确终局符号和合法动作边界。

发散与实践

读者延伸。按两条源码链路检查机制能否落到实际样本。先追 DQN 的回放、终止和同步,再追五子棋的状态、搜索概率与胜负标签。已完成项目版本核验和首轮源码映射。两张卡给出后续深读计划。

生成进度与管理记录

强化学习入门:从原理到实践

Skill 版本:v24

执行模式:light

建档进度:done

评级:经典原理(高信息浓度、高稳定性)。试错与最优控制的结合、贝尔曼递推以及随序列反馈更新估计构成稳定主线。配套的具体框架和版本属于实验实现。

整书笔记 · 阅读覆盖

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 0
01 第1章 概述 done 0
01 1.1 强化学习的历史 done 2
01 1.2 强化学习的基本概念 done 7
01 1.3 章节组织 done 0
01 1.4 编程环境与代码资源 done 0
02 第2章 从一个示例到马尔可夫决策过程 done 0
02 2.1 马尔可夫过程 done 2
02 2.2 马尔可夫奖励过程 done 3
02 2.3 马尔可夫决策过程 done 3
02 2.4 编程实践:学生马尔可夫决策示例 done 0
02 2.4.1 收获和价值的计算 done 1
02 2.4.2 验证贝尔曼方程 done 1
03 第3章 动态规划寻找最优策略 done 1
03 3.1 策略评估 done 1
03 3.2 策略迭代 done 1
03 3.3 价值迭代 done 1
03 3.4 异步动态规划算法 done 1
03 3.5 编程实践:动态规划求解小型格子世界最优策略 done 0
03 3.5.1 小型格子世界MDP建模 done 1
03 3.5.2 策略评估 done 0
03 3.5.3 策略迭代 done 0
03 3.5.4 价值迭代 done 0
04 第4章 不基于模型的预测 done 0
04 4.1 蒙特卡罗强化学习 done 2
04 4.2 时序差分强化学习 done 2
04 4.3 n步时序差分学习 done 3
04 4.4 编程实践:蒙特卡罗学习评估21点游戏的玩家策略 done 0
04 4.4.1 21点游戏规则 done 0
04 4.4.2 将21点游戏建模为强化学习问题 done 1
04 4.4.3 游戏场景的搭建 done 1
04 4.4.4 生成对局数据 done 0
04 4.4.5 策略评估 done 1
05 第5章 无模型的控制 done 1
05 5.1 行为价值函数的重要性 done 1
05 5.2 贪婪策略 done 1
05 5.3 同策略蒙特卡罗控制 done 1
05 5.4 同策略时序差分控制 done 0
05 5.4.1 Sarsa算法 done 1
05 5.4.2 Sarsa(λ)算法 done 1
05 5.4.3 比较Sarsa和Sarsa(λ) done 1
05 5.5 异策略Q学习算法 done 2
05 5.6 编程实践:蒙特卡罗学习求解21点游戏的最优策略 done 1
05 5.7 编程实践:构建基于gym的有风的格子世界及个体 done 0
05 5.7.1 gym库简介 done 1
05 5.7.2 状态序列的管理 done 1
05 5.7.3 个体基类的编写 done 1
05 5.8 编程实践:各类学习算法的实现及与有风的格子世界的交互 done 0
05 5.8.1 Sarsa算法 done 0
05 5.8.2 Sarsa(λ)算法 done 0
05 5.8.3 Q学习算法 done 0
06 第6章 价值函数的近似表示 done 0
06 6.1 价值近似的意义 done 2
06 6.2 目标函数与梯度下降 done 1
06 6.2.2 梯度和梯度下降 done 1
06 6.3 常用的近似价值函数 done 0
06 6.3.1 线性近似 done 2
06 6.3.2 神经网络 done 2
06 6.3.3 卷积神经网络近似 done 3
06 6.4 DQN算法 done 3
06 6.5 编程实践:基于PyTorch实现DQN求解PuckWorld问题 done 2
06 6.5.1 基于神经网络的近似价值函数 done 1
06 6.5.2 实现DQN求解PuckWorld问题 done 1
07 第7章 基于策略梯度的深度强化学习 done 0
07 7.1 基于策略学习的意义 done 2
07 7.2 策略目标函数 done 2
07 7.3 Actor-Critic算法 done 2
07 7.4 深度确定性策略梯度算法 done 1
07 7.5 编程实践:DDPG算法实现 done 0
07 7.5.1 连续行为空间的PuckWorld环境 done 1
07 7.5.2 Actor-Critic网络的实现 done 1
07 7.5.3 确定性策略下探索的实现 done 1
07 7.5.4 DDPG算法的实现 done 1
07 7.5.5 DDPG算法在PuckWorld环境中的表现 done 0
08 第8章 基于模型的学习和规划 done 0
08 8.1 环境的模型 done 1
08 8.2 整合学习与规划——Dyna算法 done 1
08 8.3 基于模拟的搜索 done 1
08 8.3.1 简单蒙特卡罗搜索 done 1
08 8.3.2 蒙特卡罗树搜索 done 1
09 第9章 探索与利用 done 1
09 9.1 多臂游戏机 done 1
09 9.2 常用的探索方法 done 1
09 9.2.2 不确定行为优先探索 done 3
09 9.2.3 基于信息价值的探索 done 1
10 第10章 Alpha Zero算法实战 done 2
10 10.1 自博弈中的蒙特卡罗树搜索 done 3
10 10.2 模型评估中的蒙特卡罗搜索 done 1
10 10.3 策略价值网络结构及策略提升 done 1
10 10.4 编程实践:Alpha Zero算法在五子棋上的实现 done 0
10 10.4.1 从零开始搭建棋盘环境 done 1
10 10.4.2 搭建两种MCTS以实现Alpha Zero自博弈与模型评估 done 1
10 10.4.3 搭建策略价值网络并进行策略提升 done 1
10 10.4.4 训练自己的Alpha Zero模型 done 0

非正文排除

spine项 类型 排除理由
001 titlepage 封面 视觉封面
002 copyright.xhtml 版权页 出版信息及联系渠道
004 chapter1.xhtml 致谢 致谢名单及成书协助
005 chapter2.xhtml 符号索引 逐项查阅记号,解释见正文
006 chapter3.xhtml 算法索引 仅列算法名与所在章,各算法正文已列入计划
100 chapter97.xhtml 参考书目 书目索引,引用来源另登记

待关联术语

术语名 出现章节 一句话语境
次级强化子 1.1 强化学习的历史 时序差分的历史来源,未在此解释机制
Adam 6.2.2 梯度和梯度下降 提及为梯度更新方案,算法细节未在此展开
动量更新 6.2.2 梯度和梯度下降 提及为缓解更新问题的方案,未展开
傅里叶变换 6.3 常用的近似价值函数 列为近似相关方法,未展开
决策树 6.3 常用的近似价值函数 列为近似函数,未展开
KL散度 9.2.2 不确定行为优先探索 用来表述臂分布的可区分性及后悔下界,未推导散度定义
批量归一化 10.3 策略价值网络结构及策略提升 列作卷积和残差块组件,未展开机制

引用文献

标题 类型 出现章节 一句话语境
reinforce/codes_for_book 源码项目 前言 配套 Python 代码入口,书中给出仓库路径
Steps Toward Artificial Intelligence 论文 1.1 强化学习的历史 本节引作信用分配问题的来源
PyTorch 框架 1.4 编程环境与代码资源 作为书中实现工具给出
Gym 框架 1.4 编程环境与代码资源 作为环境交互工具给出
reinforce/codes_for_book 源码项目 1.4 编程环境与代码资源 给出配套完整代码地址
LeNet-5 源码项目 6.3.3 卷积神经网络近似 本节用其层结构说明卷积、池化和分类器组合
Delving Deep into Rectifiers 论文 7.5.2 Actor-Critic网络的实现 实验权重初始化辅助函数的参考来源
Mastering the Game of Go without Human Knowledge 论文 第10章 Alpha Zero算法实战 用作自博弈方法的历史出处
AlphaZero_Gomoku 源码项目 第10章 Alpha Zero算法实战 五子棋教学实现,第十章实践部分详细拆解
Richard S Sutton,Andrew G Barto.Reinforcement Learning:An introduction[M].The MIT Press,2012. 书 参考文献 书末条目 1,照录书内书目信息
Szepesvari C.Algorithms for Reinforcement Learning.Draft of the lecture published in the Synthesis Lectures on Artificial Intelligence and Machine Learning series by Morgan & Claypool Publishers,2009. 书 参考文献 书末条目 2,照录书内书目信息
Hasselt H,Guez A,Silver D.Deep Reinforcement Learning with Double Q-learning[EB/OL].arXiv:1509.06461v3[cs.LG],2015. 论文 参考文献 书末条目 3,照录书内书目信息
Timothy P,Lillicrap,Jonathan J Hunt,et al.Continuous Control with Deep Reinforcement Learning[EB/OL].arXiv:1509.02971v5 [cs.LG],2016. 论文 参考文献 书末条目 4,照录书内书目信息
Kaiming H,Xiangyu Zh,Shaoqing R,et al.Deep Residual Learning for Image Recognition [EB/OL].arXiv:1512.03385v1 [cs.CV],2015. 论文 参考文献 书末条目 5,照录书内书目信息
Kaiming H,Xiangyu Zh,Shaoqing R,et al.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification[EB/OL].arXiv:1502.01852v1 [cs.CV],2015. 论文 参考文献 书末条目 6,照录书内书目信息
Silver D,Lever G,Heess N.Deterministic Policy Gradient Algorithms[C].Proceedings of the 31st International Conference on Machine Learning,Beijing,China,2014. 论文 参考文献 书末条目 7,照录书内书目信息
LeCun Y,Bottou L,Bengio Y,et al.Gradient-Based Learning Applied to Document Recognition[C].Proc.of the IEEE,1998. 论文 参考文献 书末条目 8,照录书内书目信息
G M J-B Chaslot,S Bakkes,I Szita,et al.Monte-Carlo Tree Search:A New Framework for Game AI[C].Proc.Artif.Intell.Interact.Digital Entert.Conf.,Stanford Univ.,California,2008:216-217. 论文 参考文献 书末条目 9,照录书内书目信息
P Auer,N Cesa-Bianchi,P Fischer.Finite-time Analysis of the Multiarmed Bandit Problem[J].Mach.Learn.,2002,47(2):235-256. 论文 参考文献 书末条目 10,照录书内书目信息
Browne C B,Powley E,Whitehouse D,et al.A survey of monte carlo tree search methods[J].IEEE Transactions on Computational Intelligence and AI in games,2012,4(1):1-43. 论文 参考文献 书末条目 11,照录书内书目信息
Silver D,Schrittwieser J,Simonyan K,et al.Mastering the game of go without human knowledge[J].Nature,2017,550(7676):354. 论文 参考文献 书末条目 12,照录书内书目信息
Silver D,Hubert T,Schrittwieser J,et al.Mastering chess and shogi by self-play with a general reinforcement learning algorithm[J].arXiv preprint arXiv:1712.01815,2017. 论文 参考文献 书末条目 13,照录书内书目信息
Reinforcement Learning[EB/OL].https://www.youtube.com/playlist?list=PL7-jPKtc4r78-wCZcQn 5IqyuWhBZ8fOxT. 论文 参考文献 书末条目 14,照录书内书目信息
AlphaGo Zero:Starting from scratch[EB/OL].https://deepmind.com/blog/alphago-zero-learning-scratch/. 源码项目 参考文献 书末条目 15,照录书内书目信息
PyTorch Tutorials[EB/OL].https://pytorch.org/tutorials/. 论文 参考文献 书末条目 16,照录书内书目信息
AlphaZero-Gomoku[EB/OL].https://github.com/junxiaosong/AlphaZero_Gomoku. 论文 参考文献 书末条目 17,照录书内书目信息
Visualizing the Gradient Descent Method[EB/OL].https://scipython.com/blog/visualizing-the-gradient-descent-method/. 源码项目 参考文献 书末条目 18,照录书内书目信息
Gym,OpenAI[EB/OL].https://gym.openai.com/. 源码项目 参考文献 书末条目 19,照录书内书目信息

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 核对DQN回放与目标网 实现深读 done 06 计划与首轮源码映射
002 追踪五子棋自博弈样本 实现深读 done 10 计划与首轮源码映射

实践候选筛选:done

未采用完整复刻 DDPG 和长时间棋力训练。两条固定源码链路能覆盖本轮希望比较的自举、采样和策略标签,长训练的收益依赖设备和重复试验。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。