此笔记位置已失效,请从目录继续阅读。
全书导读
本书从一条最小的交互记录出发:某个状态下做了一个动作,环境给出奖励,并进入下一状态。为了学会长期决策,要把跨许多步才能观察到的结果变成可以更新的目标。用 第 2 章的递推 理解价值如何评价决策,再读 第 3 至 6 章的不同更新方式,更容易看出后续网络架构在保留或改变什么。
全书主线
第 1 至 2 章说明任务和价值如何定义。第 3 至 6 章在同一问题上比较已知模型的全期望、完整采样回报和时序差分,并用资格迹连接不同更新跨度。第 7 至 10 章把查表换成可训练函数,再区分估计价值和直接表示动作策略。第 11 至 13 章分别讨论怎样利用模型生成经验、怎样分配试验机会、怎样将搜索和学习合在博弈中。
序言
序言从机器人控制和棋类博弈引入相同的学习问题:决策者不断行动,使用环境反馈调整下次行为,使长期奖励更高。序言同时指出初学困难来自概率概念、算法依赖与实现细节的叠加。全书从能逐格记录价值的模型入手,再将同一类更新推广到神经网络,并在章末用案例检验原理。
前言
前言把 13 章分为提出问题、基础求解、联合求解和博弈案例四部分。首先要把具体场景写成状态、动作和奖励,再根据能否获得环境模型、是否能等到轨迹结束、状态和动作能否逐项列出选择方法。以后各章的案例都可沿两个方向阅读:先用算法说明推导更新规则,再到代码中找采样、计算更新目标和修改参数的位置。星号小节及参考文献用于扩展。
第1章 强化学习概述
强化学习关注一连串会改变后续局面的选择。智能体观察当前状态,执行动作,再从环境获得奖励和新状态。奖励提供任务反馈,动作是否合适需要结合后继局面判断。扫地机器人的路径规划器可作为智能体,机身、传感器和房间则是它要交互的环境。把哪些部分划进环境取决于建模任务和决策权限。交互产生决策经验详细说明这一循环以及为何数据随策略改变。
策略是选择动作的规则。给定同一状态,确定性规则每次给出同一动作,随机规则则给出一个供采样的概率分布。策略给出动作选择区分了动作采样与学习过程中的参数变化。值函数用长期回报评价这些选择。即时奖励可以加上未来奖励的折扣和构成回报。状态价值平均当前策略可能采取的所有首步动作,动作价值则先指定首步动作,再依策略演进。回报与两种价值从一个轨迹的回报推到两种条件期望。
模型描述环境如何对动作作出响应,例如从当前格子向右走会到哪里、拿到多少奖励。知道这一机制就可以先在模型中推演;机制不明时可以记录真实的走动与得分来改进行为。模型把交互变成规划用这个差异解释学习与规划。模型与输出两条分类轴说明另一条独立的选择轴,算法能显式估计价值、直接学习决策规则,或同时保留两者。
真实行动还要在两类收益之间权衡。试吃新餐厅有机会发现更好的选择,回到熟悉餐厅可以兑现已经知道的好处。探索给信息利用取回报概括了这种权衡。另一方面,给定走法去评价各格的长期回报属于预测,搜索每格更优走法属于控制。预测评价控制改善说明预测怎样为更新策略提供依据。下一章将这套交互和评价关系写成马尔可夫决策过程。
第2章 马尔可夫决策过程
马尔可夫性是对状态信息的要求。在知道当前状态和准备执行的动作后,过去的状态与动作不应再改变对下一步的预测。例如只用直升机的位置来预测下一位置会缺少速度。马尔可夫状态保留必要历史说明如何判断状态是否足够。没有可选动作时,马尔可夫链描述状态之间如何依概率跳转。加入每个状态可选的动作和奖励后,就可以比较不同决策造成的结果。五元组描述序贯决策解释 MDP 的状态、动作、转移、奖励和折扣,以及固定策略后为何能还原成一条带奖励的马尔可夫链。
给定一个策略,当前价值等于一步奖励加后继价值的折扣期望。这是因为总回报可以从第一项拆开,剩余奖励正好是下一时点的回报。策略决定如何对动作平均,环境决定如何对后继状态平均。贝尔曼期望递推进一步连接从状态起步与指定首步动作两种评价。有了小型 MDP 的转移和奖励矩阵,可以统一解出这些互相依赖的价值,固定策略可解线性方程列出可逆与终止边界。
要求最优策略时,可以比较每个候选动作的整项期望,并选其最大者。后继状态的概率仍由环境决定。拥有最优动作价值时,查同一状态下哪一个动作价值最大即可读出最优行为。贝尔曼最优在动作上取最大说明最优方程为何会在动作上取最大,以及只掌握最优状态价值时如何用模型提取策略。第 3 章用这些关系做迭代更新。
求职案例将继续工作、学习、放弃、找工作和旅游作为可选动作。选旅游之后,具体恢复到哪个学习阶段由概率决定。书中固定等概率策略,演示怎样按动作和状态转移拆解价值。图 2-2 的继续本职工作即时奖励为 2,后续算例图 2-8 和 2-15 使用 0。两组图须分别读取。图 2-11 的状态最优公式排版缺少括号,求最大值时应包含即时奖励和后继价值两项。
第3章 动态规划
动态规划处理可分解又会反复遇到同一子问题的决策。对一个马尔可夫决策过程,凡是可能转移到同一个后继状态的路径,都可以复用该状态的价值估计。环境如何响应动作必须已知,才可直接计算每个后继的概率权重。动态规划复用价值子问题说明价值表保存了什么,以及查遍模型的工作量从哪来。
固定策略后,先计算每个候选动作的一步奖励及后继价值,再按策略对这些动作求平均。把得到的结果写回价值表并反复扫描,称为迭代策略评估。策略评估用估计值自举解释为何用估计值更新估计值称为自举,也指出书中公式与实例代码的更新顺序差异。
用评估结果改善动作时,先比较“走这一步,之后继续旧策略”能得到多少长远收益。以这个评价挑首步动作,贪心改进比较长远价值解释了为什么新策略可保证至少和旧策略一样好,以及何时需要继续评估。广义策略迭代交替改进把完整评估和贪心改进放进同一循环,并说明二者可以交替得更频繁。
值迭代用最优备份更新把“取最佳动作”直接放进每个状态的价值更新。收敛后对各状态重新计算候选动作,就能读出策略。书中的 5×5 网格以 8 号格为宝藏,越界留在原位,离开非宝藏格每步代价 1。两种算法同样找到最短路。书中报告的 338 次首次策略评估和 7 次值迭代使用特定更新顺序及阈值,只作为该算例的对照。下一章保留用价值改进策略的目标,把已知模型中的概率加权换成交互样本。
第4章 蒙特卡罗
第 3 章先知道动作怎样改变环境,再对各种可能结果求平均。第 4 章从经验出发,记录智能体走到回合终点时实际得到的奖励。每个访问时刻之后的折扣奖励总和是一个价值样本。蒙特卡罗用完整回报评估比较了每回合只用第一次访问与采用所有访问的方法,增量平均只保存估计和次数说明如何只凭当前估计和计数维护同一个平均。
为了用采样结果选动作,无模型控制直接估计动作值说明为什么直接记录同一状态下不同首步动作得到的长期回报。若一直按目前最高估计行动,就可能永远看不到真正更好的动作。ε贪心保留行动机会介绍用小概率随机试验避免这一问题。采用同策略时,试验行为和待评估规则相同。行为策略与目标策略解释何时会把取得数据和决定未来动作交给不同策略。
当采样规则不同,某些轨迹在目标策略下本来更难出现。重要性比率校正采样策略通过改动每个样本的权重来还原目标策略的分布,行为策略需覆盖目标策略的行动。归一化重要性权重说明如何把权重归一化,以及为什么确定性的目标策略在逆序回溯时可以提前停止。
牌局模型区分观测与结算说明十点半案例怎样把要牌、停牌与输赢结算表达为一个回合。书中分别用 ε-贪心策略和随机行为策略采集数据,展示如何得到要牌或停牌的价值。两种方法画出的策略与价值图用来比较估计,图中的稳定区间依赖具体牌局与采样。第 5 章进一步缩短更新所需的等待时间,用每一步观察到的奖励和现有价值估计开始学习。
第5章 时序差分
单步时序差分把前两章各取一部分。它和蒙特卡罗一样从交互中取得数据,又像动态规划一样用后继状态的估计来补足剩余回报。观察到一步就可修正当前价值。时序差分用一步样本自举解释目标和误差,采样和自举是两条轴将采样与自举分开比较。固定一批数据并反复更新时,批量TD与经验转移一致说明价值为何能和按样本频次构建的经验模型相联系。
估计动作价值时,关键是如何处理下一状态的动作。Sarsa用实际下一动作更新按正在使用的策略实际抽取下一动作,再用其估计完成自举。Q学习用最大后继动作值用下一状态估计最高的动作值构造目标,行为仍可以探索。两者都可以从采到的每一步更新,区别集中在更新目标如何使用下一动作。
书中的迷宫让落入陷阱和获得宝藏结束轨迹,普通移动回报为零。环境用画布的坐标表示位置,算法把每次遇到的状态和动作填入同一张 Q 表。未访问动作不能从路径验收解释为何有一条成功路线仍无法评价很少采到的格子。正文对网格尺寸和动作编号有不一致处,复现须依据环境代码核对,并在记录里明确 ε 表示探索概率还是利用概率。第 6 章用多步回报接续单步 TD,讨论如何把一次新奖励分配给此前多个时刻。
第6章 资格迹
一个时序差分目标不必只看一步。可以先累加几步真正得到的奖励,再用当前估计补足之后的部分。多步目标移动自举位置解释如何在单步和整条轨迹之间选择。λ回报给多步目标分权把各种步长混合起来,λ 较大时为较长的实际经验保留更多权重。
从历史方向看,当前的预测误差可以同时修正多步之前访问过的对象。每访问一次便增加迹,此后每步衰减,资格迹给历史分配误差比较累计和替代这两种记录方式。前后向等价依赖更新时机解释用恒定的估计作回合末计算时,未来的多个误差如何累加成同一份前向回报。这样可以理解为什么工程实现往往只维护迹,并逐步分配误差。
Sarsa 与 Q-learning 对未来动作的处理原本就不同,加入资格迹后区别更大。Sarsa资格迹记录状态动作仍用下一实际动作估计,并继续累计迹。Watkins迹遇非贪心动作截断以贪心目标为准。当行为偏离贪心动作时,偏离处后面的奖励不再被用于修正偏离前的动作。Peng迹保留探索轨迹保留更多实际执行的中间动作,在末端再取贪心,使用数据与匹配目标之间的折中不同。
风格子案例让向上动作在有风道的一列走得更远,陷阱和宝藏给相反的终点回报。书中报告 Sarsa(λ) 在固定训练预算下的路线较稳定,Watkins 的迹因探索而较频繁清除。比较这类实验应注意实际采样次数、风力、回报和探索概率。正文的折扣假设与逐步演算参数有出入,后者的迹衰减演算明确使用 0.9×0.9。
第7章 值函数逼近
表格让每个状态单独存一个值,但像素、速度等输入产生的状态几乎无法穷举。共享参数让价值跨状态泛化解释共享参数的基本做法,线性逼近对参数保持线性说明可以先用人工选定的特征表达状态,并使价值对参数保持线性。以此为基础,直接回报、一步目标和多步目标都可以用来训练参数。半梯度只改当前预测区分哪些参数参与求导,并说明资格迹怎样进入函数逼近。批量线性方法复用一批经验用一批历史经验整体估计参数,适合和逐样本更新对照。
若固定特征难以覆盖重要的状态变化,深度网络从像素学习特征解释如何用网络把特征本身变成可训练参数。DQN 用深度网络输出每个可枚举动作的价值,并沿用 Q-learning 的贪心目标。经验回放重用非相邻转移解释如何抽取一批分散的历史转移,目标网络减缓学习目标漂移解释如何让监督目标暂时保持稳定。它们分别处理样本相邻相关性与回归目标随参数变化的问题。遇到真正终止的转移,目标保留当步奖励即可。
双DQN分开择优与估值改变谁选动作以及谁对同一动作估值。竞争网络分解状态值和优势改的是网络输出的组织方式,让同一状态下多个动作共享基准,并各自学习相对优势。两项改动可组合。书中用街机视频和飞行小游戏说明灰度、二值化、缩放和帧堆叠分别解决哪些观测问题。飞行案例输出两个动作的 Q 值,探索策略才将其转成行动概率。其截图处理规格和训练阶段属于该实现。下一章转而让模型直接给出可采样的策略。
第8章 随机策略梯度
当动作需要连续调节时,枚举候选动作并从 Q 值里选最大会变得昂贵。策略参数直接决定动作分布让策略直接给出可采样的动作分布。即使动作离散,状态混同可使随机策略占优也说明仅用当前观测的确定性规则会在状态看起来一样时陷入循环。随机分布能保持另一种选择的机会。
提升策略预期回报,需要知道怎样改动作概率。策略梯度分解为概率与价值说明策略梯度可以用轨迹访问分布下的动作价值来加权,而无需显式计算环境中状态分布对参数的导数。完整回报加权对数概率以完整回报作动作价值样本。动作无关基线保持梯度期望解释为何减去同一状态的比较标准可以保持期望梯度,并有机会减少波动。小车爬山案例用位置和速度描述状态,用往返积累动量克服发动机功率限制。网络输出三个概率,走到回合终点后才计算各步回报并更新网络。
策略的参数只动一点,动作分布仍可能变动很大,随之改变下一轮会到哪些状态。置信域约束策略分布变化说明 TRPO 如何在旧访问分布上构造替代目标,再用散度限制策略改动。原书的小车案例演示 REINFORCE。下一章把策略模型和价值模型同时训练,改用能够更早提供反馈的价值估计。
第9章 Actor-Critic及变种
前一章在回合终点用完整回报评价某个选择。Actor–Critic 让另一个模型在中途就提供反馈。评论家自举指导行动者介绍负责选动作的行动者与负责估值的评论家如何分工。评论家可用一步或多步 TD 更新,行动者依照它提供的估值或误差调整策略。书中倒立摆案例先采一个左右动作,再计算价值误差,用它分别训练两组参数。
经验可以来自要训练的策略,也可以来自另一种行为。异策略评论家需校正分布解释异策略估计为什么要看动作采样与目标分布,也说明评论家为何可能需要梯度修正。兼容评论家保持策略梯度给出了价值误差不干扰期望策略梯度的一组条件。常见实现将价值作为基线,并用一步或多步目标减去这个基线。用TD误差估计动作优势把这种差解释成动作相对于常态的优势。
异步学习者交错提交梯度说明如何让多个学习者从不同环境片段产生并提交梯度,减轻连续样本相关。A3C用短轨迹估计多步优势把短轨迹、价值自举、优势和全局参数更新连在一起。钟摆任务用角度的正弦、余弦和角速度描述状态,从分布中采样受限的力矩;案例每若干步推送梯度、同步本地参数。下一章把策略从采样分布改为直接输出连续动作。
第10章 确定性策略梯度
连续动作可以由策略网络直接产生。确定性行动者输出一个力矩或一组控制量,评论家估计给定状态和这个动作之后的长期回报。确定性梯度经过动作值回传解释如何用动作值的斜率指导策略参数。确定性评论家匹配动作斜率说明评论家的值误差和动作斜率误差起什么不同作用。
固定策略若没有探索,在确定环境里可能一再重复同一轨迹。确定性目标用带噪行为探索把实际交互的行为规则与评估目标分开,例如产生一个合法范围内的带噪动作。DDPG 使用经验回放来重用这些观测。为使拟合目标变动减慢,DDPG目标需要两套延迟副本分别维护行动者和评论家的两套延迟副本。训练时在线评论家读取回放的真实动作,在线行动者读取自己现时建议的动作。两个目标副本联手计算后继值。
钟摆案例延续第 9 章的状态和力矩范围。行动者经 tanh 缩放得到连续动作,采样时加正态扰动并裁剪。评论家使用线性输出,分数可以为负。实例文字对软更新的两个系数顺序写反了,以公式和赋值代码为准,τ=0.01 时,每次只混入 1% 的在线参数。
第11章 学习与规划
未知环境里,观测到的转移既可以直接改策略,也可以教会系统预测同样的动作将发生什么。用一步转移拟合环境介绍如何按一步经验拟合环境。模型随后扮演虚拟环境,智能体可以在其中产生额外经验。同样的估计式能够处理来自现实和模拟的转移,但模拟的可信度受模型覆盖与误差影响。
Dyna让真实和模拟共用价值把一次真实转移同时交给价值表和模型,再把若干次模拟转移交还同一张 Q 表。迷宫案例比较不同规划次数,展示多做一些内部计算如何减少真实寻宝试错。若环境在变,原路被堵通常会从交互中暴露。出现更优但尚未走过的路径则需要主动重查。久未访问的动作值得重查为过时模型引入探索奖励。优先扫描传播变化最大的价值针对计算预算有限时的另一问题,用优先队列让新奖励较快传播到相关前驱。
Dyna二把搜索作为局部修正把模拟预算集中到眼前的状态,用当前局面的搜索结果修正由长期经验训练的价值。这为第 13 章的树搜索提供了一个过渡。第 12 章先将探索从复杂环境中剥离,研究只需反复选择同一组动作时,如何在信息和收益之间取舍。
第12章 探索与利用
多臂问题每次只选一个动作并获得随机奖励。动作不会改变下一轮可选的动作集合,但会让决策者多知道一些关于该动作收益的信息。累积后悔按劣势和次数计算用累计机会成本来评价选择,把大差距动作和频繁的次优选择分开计量。
朴素探索有两种线性遗憾说明纯贪心和固定随机探索为何都可能长期损失收益。乐观初始化给未试动作机会让未尝试过的动作短暂排在前面。置信上界给样本稀少者机会通过均值和不确定性共同排序,优先验证仍有潜力的选项。汤普森按成为最佳的概率抽样直接从各动作的收益后验中抽样,后验范围宽意味着偶尔抽出很大的值。信息价值取决于未来使用机会把问题发展为一串带剩余期限的决策,判断这次学到的信息能供以后使用多久。
十臂实例用预先设置的概率生成 0 或正回报。比较算法时可固定各臂分布,并在多次独立采样中同时报告累计奖励与真实均值计算的伪后悔。书中案例函数使用样本回报估计基准,再按总次数归一化,这与理论上累加真实动作均值差所得的指标口径有别。后续树搜索也会在已知较优分支和不确定分支之间分配有限预算。
第13章 博弈强化学习
双人零和棋局可表示为局面和合法走法构成的树。极大极小交替回传对弈价值解释从终局按轮到谁走反推最优行为。若某分支已经不可能影响之前的选择,AlphaBeta剪去无关分支给出安全剪枝的条件。完整展开大棋局很难,树搜索按模拟反馈分配预算说明怎样用有限模拟把预算集中给可能更好的走法。
AlphaGo 将训练阶段和下棋阶段拆开。AlphaGo给搜索配不同网络说明模仿专家的策略、快速走子、强化学习策略和价值预测分别服务哪个环节。专家策略给树边先验,强化策略通过自我对弈帮助生成价值训练样本,搜索本身把网络估值和快速终局模拟结合起来。
AlphaGo Zero 将策略和价值合到一套共享特征的残差网络。残差块学习对输入的增量,并允许信号沿跳接继续传播。使用网络先验和价值进行搜索时,搜索先验与次数共同定走法说明访问统计怎样影响试哪个分支。自我对弈以搜索改进策略说明怎样用改进后的搜索分布及终局胜负给网络训练,反过来让下一轮搜索得到更可靠的预测。跨棋种复用循环须适配规则解释 AlphaZero 如何将循环应用在不同棋种,以及为什么规则和数据增强必须分别核对。
五子棋案例用较浅的卷积网络输出策略与价值,与采用随机快速走子的纯搜索棋手比较。训练和评估分别用自对弈样本及固定对手对局。棋盘增强同步变换策略标签说明变换局面时必须同步变换策略标签。书中分别讨论搜索树、策略价值网络、训练管线和人机对弈入口,读者可沿“一步搜索→一个回合的样本→一次网络更新”核对流程。
跨章综合
贝尔曼方程将长期回报拆成即时奖励和后继价值,这一关系让算法可以选择要观察多少步,又要将多少交给估计。动态规划用转移模型算完整的后继期望,蒙特卡罗用完整的实际奖励,时序差分用一步进行自举。多步目标和资格迹说明三者之间还有连续的选择。函数逼近继续使用这些目标,但一个参数会影响许多状态,目标与预测的同步变化也更值得关注。
策略可以从值表读出,可以作为随机分布训练,也可以直接输出连续动作。行动者评论家用价值信息训练动作模型。Dyna 将训练经验反过来用作模型数据,使模拟能参与学习。AlphaGo Zero 将模拟预算集中于当前局面的搜索,再用搜索得到的分布改进策略。模型和价值估计的好坏直接影响模拟输出,搜索预算如何分配则连接多臂问题中的探索原则。
发散与实践
《沿源码追踪 DQN 目标》 从采样批量追到终止掩码、目标网和损失,已有固定版本的入口与机制映射。《比较探索策略的后悔》 用三臂模拟检查时间跨度与计量口径对结论的影响。两项是实践计划,实测结果待后续记录。