此笔记位置已失效,请从目录继续阅读。
全书导读
《深入浅出强化学习:原理入门》以”交互迭代、策略评估与策略改善”为主线,把强化学习从马尔科夫决策过程的严谨框架一路讲到深度强化学习的前沿方法。全书先建立智能体与环境交互的公共语言,再沿两条技术路径展开:一条是基于值函数的方法(动态规划、蒙特卡罗、时间差分、值函数逼近与 DQN 家族),另一条是基于直接策略搜索的方法(策略梯度、TRPO、确定性策略、引导策略搜索)。后半部分转向逆向强化学习、值迭代网络与基于模型的 PILCO,展示如何从不完整奖励、规划结构和动力学模型中拓展决策能力。
理解全书的关键是先抓住 [[序贯决策问题]] 与 [[智能体环境交互框架]]:智能体在状态中采取动作、环境返回奖励与新状态,目标是把长期累积回报最大化。这一框架在 [[强化学习与监督学习之别]] 中与有标注的监督学习区分开,并通过 [[基于模型与无模型]]、[[值函数与策略搜索分类]] 两条坐标轴把纷繁的算法安放到统一坐标系里。本书的写作特色与章节安排见 [[本书定位与写作特色]]、[[本书两条主线与章节安排]],发展趋势见 [[强化学习发展趋势]]。
工程上,全书用 gym 作为统一实验床:[[仿真环境两大引擎]] 解释了物理引擎与图像引擎的分工,[[gym安装与快速上手]] 和 [[gym环境三函数]] 给出可复现的操作入口。这些示例不是为了罗列接口,而是让抽象的奖励、状态转移与策略在可运行的环境中落地。
全书主线
主线从形式化开始。第 2 章把交互抽象为马尔科夫决策过程:[[马尔科夫性]] 说明未来只依赖当前状态,[[马尔科夫过程与状态转移]] 与 [[MDP要素关系]] 给出状态、动作、转移、奖励、折扣五元组,[[策略与累积回报]] 定义要优化的目标,[[状态值函数与状态-行为值函数]] 与 [[贝尔曼方程]] 把长期回报拆成可递归求解的量,[[最优值函数与贝尔曼最优方程]] 刻画最优解。支撑这些推导的随机变量与期望见 [[概率学基础]],探索用的随机策略见 [[常用随机策略]],可运行实例见 [[基于gym的MDP实例]];[[强化学习交互框架]] 是这一切的公共起点。
第 3 章在”模型已知”前提下用动态规划求最优策略:[[基于模型的动态规划]] 界定适用条件,[[策略评估与自举]] 用后继状态值更新当前值,[[策略改善与贪婪策略]] 从值函数导出更好策略,[[策略迭代算法]]、[[值迭代算法]] 与 [[迭代算法流程]] 给出两条求解路径,[[雅克比与高斯赛德尔迭代]] 和 [[压缩映射证明收敛]] 回答”为什么收敛”,[[gym策略迭代实现]] 落到代码,[[最优控制与强化学习比较]] 点明与最优控制的渊源。
第 4—6 章去掉模型假设。[[无模型与有模型强化学习]] 划清界线;[[蒙特卡罗策略评估]] 用完整回报的采样均值估计值函数,[[探索必要性与探索性初始化]]、[[首次访问与每次访问MC方法]]、[[采样估计期望]]、[[重要性采样]]、[[同策略与异策略]]、[[MCMC采样方法]] 与 [[蒙特卡罗编程:模拟与平均]] 铺开统计基础与变体。第 5 章的 [[TD方法与自举]] 结合采样与自举,[[TD目标与TD偏差]] 给出单步更新信号,[[三种值函数估计的异同]] 对比 MC/TD/动态规划,[[Sarsa同策略算法]]、[[Qlearning异策略算法]]、[[TD的前向与后向视角]] 与 [[Python与gym编程实例]] 完成从理论到实现的闭环。
第 6 章面对连续或超大状态空间:[[值函数逼近的动机]] 说明表格法的极限,[[参数化逼近与监督学习]]、[[线性逼近与基函数]]、[[非参数函数逼近]]、[[神经网络即参数化基函数]] 给出逼近手段,[[半梯度TD与批学习]] 处理更新目标移动的问题,[[反向传播算法]]、[[卷积神经网络]] 补上深度学习工具。DQN 家族是本章高潮:[[Qlearning的两大要点]]、[[DQN的三大改进]]、[[经验回放机制]]、[[目标网络机制]]、[[DQN变种关系图]]、[[Double DQN抑制过估计]]、[[优先回放机制]]、[[Dueling DQN]] 逐一拆解稳定训练的关键。
第 7—10 章走另一条路——直接优化策略。[[值函数与策略搜索之别]] 与 [[策略搜索方法谱系]] 定位路线,[[似然比与轨迹似然率]]、[[策略梯度定理]]、[[梯度公式的直观]]、[[基线减小方差]]、[[REINFORCE算法]]、[[Softmax策略实现]] 构成策略梯度的核心。第 8 章用 [[TRPO的核心目标]]、[[策略梯度的步长困境]]、[[回报函数分解等式]]、[[优势函数]]、[[新旧策略回报差转化]]、[[固定状态分布近似]]、[[重要性采样与替代回报]]、[[KL散度下界与单调性]]、[[平均KL与优化化简]]、[[共轭梯度求解更新量]] 给出单调改进的大步长方法,信息论与优化工具 [[熵、交叉熵与KL散度]]、[[无约束优化方法]]、[[拟牛顿法与BFGS]]、[[策略搜索方法分类]] 为推导铺路。第 9 章从 [[策略搜索两条路线]] 到 [[确定性与随机策略之别]]、[[确定性策略梯度DPG]]、[[异策略Actor-Critic框架]]、[[DDPG深度确定性策略]],处理连续动作。第 10 章的 [[GPS的控制相与监督相]]、[[无模型强化学习的数据效率困境]]、[[GPS发展脉络与Levine工作]]、[[cGPS的KL散度目标]]、[[cGPS每步代价的推导]]、[[L-BFGS有限内存优化]]、[[ADMM交替方向乘子法]]、[[动量映射与信息映射]] 展示如何把监督学习与强化学习交替以改善数据效率。
前言
本章为全书前言,主要承担交代写作背景、学术源流与全书结构来源的作用,并未提出可独立迁移的理解方法或学习技巧。开篇以2017年AlphaGo击败柯洁为切入点,指出深度强化学习继深度学习之后成为前沿热点,应用于机器人、游戏、自然语言处理、图像处理、视频处理等领域,被视为最有可能实现通用人工智能的方法;同时也点明它融合了深度学习、统计、信息学、运筹学、概率论、优化等多个学科,入门门槛高,市面上又缺乏零基础全面介绍的书,这正是本书试图填补的空白。接着说明书稿缘起:它是作者在南开大学做博士后期间每周讲义的合集,因深感概念与公式难懂而开设知乎专栏《强化学习知识大讲堂》,成书时又补充了大量数学基础与实例讲解,目标是帮助更多人入门。随后是大篇幅致谢:感谢合作导师方勇纯教授在结构、讲述方式乃至标题上的指导与细致审阅,感谢研究生丁杰、朱威、赵铭慧在讲解方式上的启发,并列举本书参照的学术成果——前六章参考David Silver网络课程与Sutton等人的经典教材,第8章参考John Shulman博士论文,第10章介绍Sergey Levine的工作,前沿部分涉及组合策略梯度、值迭代网络、PILCO等。最后交代两项基金支持、诚邀读者批评指正并致谢家人。通篇属于背景与致谢性文字,没有需要单独成卡的方法论内容。
第1章 绪论
本章是全书绪论,承担“立定位、讲问题、给地图”三件事。1.1先给全书定位:本书定位与写作特色指出本书想把集数学、工程、计算机、心理学、神经科学于一身的强化学习讲到“老妪能解”,靠口语化、随用随讲数学、理论代码直观并重、覆盖广四点特色,让读者尽快入门。1.2回答“解决什么问题”:序贯决策问题把强化学习的能力边界收敛到需连续决策才能实现目标的序贯决策问题,二级摆、AlphaGo、机器人站起三例说明“当前动作影响整条序列”是关键判据。1.3回答“如何解决问题”:智能体环境交互框架给出智能体—环境闭环,动作换回状态与回报,回报保留有利动作、衰减不利动作;强化学习与监督学习之别进一步对比监督学习的“智能感知+标签数据”与强化学习的“序贯决策+带回报交互数据”,点明数据类型差异决定方法体系不同。本小节还交代1998与2013两个节点,过渡到强化学习发展趋势对融合、领域结合、理论增强、脑科学四大方向的判断。1.4给出算法地图:基于模型与无模型按是否建模切分并比较效率与通用性;值函数与策略搜索分类按策略更新方式分为值函数、直接策略搜索与AC;正向与逆向强化学习按回报是否人为指定切分。三组分类彼此正交,是后续各章的索引。1.5落到工程:仿真环境两大引擎说明环境必备物理引擎与图像引擎;gym安装与快速上手给出可复现的安装与六步demo;gym环境三函数剖析reset、render、step,分别对应初始化、显示与物理更新,为第2章自建环境打底。1.6用本书两条主线与章节安排收尾:算法主线与基础知识主线交织,MDP→动态规划→蒙特卡罗→时间差分→值函数逼近→策略搜索→逆向强化学习逐层推进,数学知识随算法插入。全章由“是什么”到“怎么学”,把后续十四章串成一张可循的地图。
第2章 马尔科夫决策过程
本章围绕如何把强化学习问题形式化为可计算的模型展开,主线是从马尔科夫性一步步搭起马尔科夫决策过程(MDP),再补上所需概率工具,最后落到 gym 编程实例。2.1 节先从 强化学习交互框架 讲起:智能体与环境的循环交互产生数据并反过来改进策略,这使强化学习区别于静态数据的监督/非监督学习,也区分了感知与决策。接着引入 马尔科夫性,用 P(s_{t+1}|st)=P(s{t+1}|s_1,…,s_t) 表达当前状态已压缩全部历史,这是后续所有简化的基石。在此基础上,马尔科夫过程与状态转移 用二元组 (S,P) 描述无动作、无奖励的状态演化,学生 7 状态图给出多条马尔科夫链。要给模型加入决策能力,就需要 MDP要素关系 中的五元组 (S,A,P,R,γ):状态转移概率带上动作,γ 折算未来回报,目标是最大化累积回报。围绕选择动作,策略与累积回报 定义随机策略 π(a|s) 与折扣回报 G,解释探索为何被耦合进采样。为了评价状态,状态值函数与状态-行为值函数 用累积回报的期望 V 与 Q 把随机回报变成确定量。让这些量真正可计算的是 贝尔曼方程,它把值函数拆成即时回报加折扣乘后继值的递归式;再把对动作的期望换成取最大,得到 最优值函数与贝尔曼最优方程,从而由 Q* 直接读出最优策略。2.2 节补足概率语言:概率学基础 梳理随机变量、分布、条件概率、期望与方差,说明 V 为何是 G 的期望;常用随机策略 比较贪婪、ε-greedy、高斯、玻尔兹曼四种策略如何利用与探索。2.3 节给出 基于gym的MDP实例:把机器人找金币网格建成 MDP,并按 step/render/reset 与注册三步写成可调用的 gym 环境。整章从抽象假设到可运行代码,构成后续所有求解算法的共同语言。
第3章 基于模型的动态规划方法
本章把上一章建立的马尔科夫决策过程框架推进到“模型已知”的情形,核心结论是:当转移概率P已知时,强化学习问题可用动态规划求解。3.1节从元组(S,A,P,r,γ)出发说明目标是找到使累积回报期望最大的最优策略,本质上属于序贯决策问题;由于回报函数定义了具体任务,最优策略与任务绑定,并不存在通吃所有任务的算法。按P是否已知,方法分为基于模型与无模型两类,基于模型的动态规划正是前者,它之所以可行,是因为贝尔曼最优化方程把问题拆成可存储、可复用的子问题。随后本节逐层展开两个基本问题:给定策略如何算值函数,即策略评估与自举——值函数由后继状态值表示,形成关于状态数个未知数的线性方程组,需用迭代法求解;有了值函数如何改进策略,即策略改善与贪婪策略——在每个状态对动作值取贪婪。把两步合起来就是策略迭代算法,其流程可用迭代算法流程对照;而若评估只做一次就改善,则得到值迭代算法,原文用“评估十次与无穷次得到相同贪婪策略”说明不必等到完全收敛。本节后半把值迭代与最优控制联系起来,引出HJB方程、数值离散解、微分动态规划DDP与伪谱法。3.2节补上数学基础:3.2.1讲线性方程组的迭代解法,雅克比与高斯赛德尔迭代对比了用旧值整体更新与新值立即投入使用两种策略;3.2.2用泛函分析中的压缩映射与不动点定理证明收敛,压缩映射证明收敛选用无穷范数把贝尔曼评估算子做成压缩因子为γ的压缩映射,保证迭代收敛到唯一值函数。3.3节给出可迁移的编程方法,gym策略迭代实现说明了用Python与gym实现策略迭代和值迭代的双层与三重循环结构,以及用模型预测下一状态而无需真实试错这一与无模型方法的本质区别。3.4节做比较,最优控制与强化学习比较梳理了间接法与直接法及伪谱法的取舍,并指出模型未知时先用交互数据拟合模型再调用最优控制计算,引导策略搜索即其典型。3.5节的习题正是对上述机制的练习。
第4章 基于蒙特卡罗的强化学习方法
第4章从有模型的动态规划转向无模型强化学习,核心是用采样替代模型来计算值函数。4.1节先做 无模型与有模型强化学习 的对比:有模型时可用动态规划解析求期望,无模型时模型未知,只能靠样本;两者仍共用策略评估加策略改善的框架,而 蒙特卡罗策略评估 正是用多幕试验的回报均值代替返回值期望来评估当前策略,再最大化动作值函数完成改善。要在无模型下让评估收敛,前提是每个状态都被访问,这带出 探索必要性与探索性初始化:从随机初始状态到要求动作概率全正的温和策略。对同一状态一幕中多次出现的回报如何统计,分为 首次访问与每次访问MC方法,二者在大数定律下都收敛。当行为策略与目标策略不同时,需要 同策略与异策略 的划分,异策略靠覆盖性条件与 重要性采样 修正分布差异——后者无偏却方差大,须用加权形式缓解。4.2节补充统计学基础:总体、样本、样本均值与无偏估计支撑了 采样估计期望;目标分布复杂时改用提议分布,引出拒绝采样、重要性采样与 MCMC采样方法,后者借平稳分布与细致平稳条件在高维下持续产出样本。4.3节给出 蒙特卡罗编程:模拟与平均 的操作范例,用双循环采样与按访问次数求均值实现策略评估,对应每次访问蒙特卡罗方法。4.4习题则要求辨析同/异策略并动手实现正态分布采样,用以巩固本章内容。
第5章 基于时间差分的强化学习方法
本章在第4章蒙特卡罗方法之后,介绍另一种无模型方法——时间差分(TD),它被誉为强化学习理论中最核心的内容。全章按三节展开。 5.1节是理论主体。开篇先把TD定位为值函数估计方式上的革新:它把蒙特卡罗的采样试验与动态规划的自举结合起来,所谓自举就是用后继状态的值函数估计当前状态的值函数,详见TD方法与自举。由更新式派生出TD目标与TD偏差两个量,前者对应蒙特卡罗的回报但借助自举得到,后者衡量预期与现实的落差并驱动更新,还可用小数字演算直观理解,见TD目标与TD偏差。接着从原始定义出发比较DP、MC、TD:MC用整幕回报的累积和、无偏却方差无穷大,DP与TD都做一步预测和自举,分歧在于DP靠模型、TD靠采样;再从期望与方差角度指出TD有偏但方差更小,构成一组偏差—方差权衡,见三种值函数估计的异同。在此基础上,本节给出TD家族的两条主线:行动与评估策略都为ε-greedy的同策略Sarsa同策略算法,以及行动用ε-greedy、目标用贪婪策略的异策略Qlearning异策略算法,二者在悬崖类任务中表现出保守与激进的差异。最后把一步TD推广到n步并加权融合得到TD(λ),用望远镜与话筒的比喻阐释前向视角(需等试验结束、类似MC)和后向视角(借适合度轨迹逐步回传TD偏差),并说明λ=0退化为TD(0)、λ=1等价于蒙特卡罗的等价性,见TD的前向与后向视角。 5.2节转到工程实现。基于Python和gym,TD策略评估的核心是在一幕时间序列里用TD更新方程逐步刷新值函数;Sarsa与Qlearning的伪代码与实现只在目标策略上分道,Qlearning的实现可拆为值函数表格表示、ε-greedy探索、贪婪选动作、值函数更新四块,并以机器人找金币(状态1到8、动作n/e/s/w)为例,见Python与gym编程实例。 5.3节用四道习题收尾,分别考查三法区别、TD(λ)前后视角、迷宫任务中Sarsa与Qlearning的对比以及玻尔兹曼探索的替换。前后两节由理论到实现对同一组机制反复印证,阅读时宜把TD目标与TD偏差里的TD偏差看作贯穿Sarsa、Qlearning与TD(λ)后向视角的共同更新信号。
第6章 基于值函数逼近的强化学习方法
本章把前几章的表格型强化学习推广到高维与连续状态空间,主线是用函数逼近表示值函数。值函数逼近的动机交代了为何表格法失效、逼近法如何沿用策略迭代框架;参数化逼近与监督学习说明逼近即调参、更新等价于监督学习,并点出参数更新影响全局与表格法只改当前状态的区别;半梯度TD与批学习辨析了小步长、自举目标带来的半梯度以及批学习的样本效率权衡;线性逼近与基函数给出多项式、傅里叶、径向基等固定基函数及其全局收敛优势与表示瓶颈。
第6.2节进入深度强化学习。Qlearning的两大要点先厘清异策略与时间差分这两个DQN的骨架;DQN的三大改进概括卷积逼近、经验回放、目标网络三项改动;经验回放机制用独立同分布假设解释其打破样本关联的原理;目标网络机制说明双网络更新频率差异如何稳定自举目标。四个变种各有侧重:Double DQN抑制过估计针对max操作的正向偏差,分离动作选择与评估;优先回放机制把均匀采样改为按TD偏差加权并作重要性采样纠偏;Dueling DQN从网络结构把Q拆成状态值与优势函数;DQN变种关系图则用结构图串起这条演化主线。
第6.3节从数学视角补全函数逼近。非参数函数逼近介绍基函数由样本决定的核方法与高斯过程,及其维数灾难代价;神经网络即参数化基函数论证神经网络是可学习的参数化基函数,表示力介于固定基函数与非参数法之间;反向传播算法给出残差逐层回传求梯度的机制;卷积神经网络讲清稀疏连接、权值共享与池化如何削减参数,并解释CNN为何适配图像类输入。至此,本章完成了从逼近理论到DQN家族再到逼近工具的闭环。
原书依据 · 16 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
第7章 基于策略梯度的强化学习方法
本章从理论到实现,系统讲解了基于策略梯度的强化学习方法。 7.1 节先给出动机:前六章都是值函数方法,通过策略评估与策略改善求出贪婪策略,而 值函数与策略搜索之别 指出另一条路——把策略直接参数化为 π(a|s;θ),在参数空间优化累积回报期望,从而能处理连续或超大动作空间并把探索内建进策略,代价是易陷局部极小、方差大。本章方法在整体谱系中的位置见 策略搜索方法谱系:它是无模型、随机策略分支的起点,后续 TRPO、确定性搜索等都在回应它的局限。 推导有两条视角。似然比与轨迹似然率 说明对轨迹概率取对数后,环境动力学项与参数无关而消失,梯度化为动作对数概率的 score 函数。策略梯度定理 进一步用重要性采样视角得到同一结论并导出替代损失函数,核心公式 ∇J=E[Σ∇logπ·R] 可用采样轨迹的经验平均估计。梯度公式的直观 把公式拆成方向项乘权重项,解释为增大高回报路径概率、减小低回报路径概率。 为抑制方差,基线减小方差 在回报中减去与动作无关的常数 b:score 期望为零使估计不偏,方差却下降,最优 b 由方差最小化求出。REINFORCE算法 是最基本的蒙特卡洛实现,但其每个动作都乘以整条轨迹的总回报,与过去的回报缺乏因果对应,于是引出 G(PO)MDP 以及用 Q、A 作权重的策略梯度理论改进。 7.2 节转向实现。Softmax策略实现 把离散动作情形转化为 softmax 分类训练:网络输出动作概率,损失函数为交叉熵乘归一化累积回报,输入由状态、采样动作和回报三部分组成,借助 TensorFlow 即可复用监督学习框架完成参数更新。 7.3 节的习题要求比较方法优劣、列举减小梯度误差的手段,并动手迁移到打乒乓球游戏和其他 OpenAI 环境。
第8章 基于置信域策略优化的强化学习方法
本章围绕TRPO(置信域策略优化)展开,主线是“如何正面解决策略梯度的步长难题,换来可证明的单调改善”。章首先交代背景:TRPO承统计学大师Michael I. Jordan一脉,最有力的武器是统计学习;在它之前多数强化学习算法难以保证单调收敛,而它给出了单调的策略改善方法。结合策略搜索方法分类可看清它在谱系中的位置——它属于随机策略搜索里对策略梯度的步长困境的正面回应:步长太长易发散、太短又太慢,越学越差乃至崩溃。因此理解TRPO的核心目标,就是理解“把步长变成有理论保证的置信域约束”这一思路。8.1节是全书推导的核心。起点是Kakade的回报函数分解等式:新策略回报等于旧策略回报加优势期望,于是单调性化为让第二项非负;其中优势函数以状态值为基线,衡量动作相对平均的好坏。为让等式出现策略参数,新旧策略回报差转化把轨迹期望摊成状态与动作上的求和。随后四个技巧依次登场:固定状态分布近似用旧分布代替新分布,重要性采样与替代回报用旧样本评估新策略;在此基础上,KL散度下界与单调性用不等式给出回报下界并证明单调改善,平均KL与优化化简再以平均KL代替最大KL、对目标一阶对约束二阶逼近,把问题化为标准优化,最终由共轭梯度求解更新量分“求方向+线搜索定步长”两步落地。8.2节补齐数学基础。8.2.1从信息论讲起,熵、交叉熵与KL散度解释了KL为何非负、不对称,以及它为何是置信域的天然度量。8.2.2梳理优化方法:无约束优化方法比较最速下降与牛顿法的收敛速度差异,拟牛顿法与BFGS则说明如何在不直接计算Hessian的情况下逼近二阶信息——这正是TRPO用Fisher矩阵又避免求逆的同一思想。整章从动机、分解、四技巧到优化求解层层递进,把看似玄学的调参变成了可证明的优化问题。
原书依据 · 14 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
第9章 基于确定性策略搜索的强化学习方法
本章承接第 7 章的随机策略梯度,转向确定性策略搜索,核心回答「确定性动作无法探索时如何学习」这一问题。 9.1 节先给出谱系背景:无模型策略搜索分为随机与确定性两条路线,2014 年以前学界普遍认为确定性策略梯度不存在,直到 Silver 提出确定性策略理论、DeepMind 结合 DQN 经验提出 DDPG,这一分支才成型,详见 策略搜索两条路线。 随后 确定性与随机策略之别 对比两者:随机策略输出动作概率分布(如高斯分布),同一状态每次采样可能不同、自带探索且理论成熟,但要对状态与动作分布双重积分、样本需求大;确定性策略同一状态动作唯一,省去动作空间积分、效率约高十倍,代价是失去自探索能力。 确定性梯度本身由 确定性策略梯度DPG 给出:相比随机策略梯度少了动作积分、多了回报对动作的导数,异策略版本又因动作是确定值而非分布而去掉重要性权重,并用 Qlearning 的 TD(0) 评估值函数。 确定性策略不探索,靠 异策略Actor-Critic框架 学习:行动策略用随机策略保证探索、评估策略用确定性策略,Actor 调整策略参数、Critic 用 TD 逼近值函数,二者地位对等。 最后 DDPG深度确定性策略 把深度神经网络引入 DPG,并用经验回放与独立目标网络打破顺序数据的相关性、稳定训练。 9.2 习题要求比较 DDPG 与 DPG、复述 AC 网络结构,并动手实现四足机器人行走与 DDPG 改进。
第10章 基于引导策略搜索的强化学习方法
本章把第8章的TRPO、DDPG等无模型算法推向更数据高效的框架——引导策略搜索(GPS)。无模型强化学习的数据效率困境先交代动机:无模型算法不必建模,但只能靠随机试错,策略参数上千上万时几乎撞不出好数据,根本瓶颈是数据效率低。GPS的控制相与监督相给出解法:不直接搜索策略,而是把问题拆成控制相与监督相——控制相借模型或轨迹优化产生高回报数据,监督相用这些数据训练策略网络,学生向不断改进的老师学习;GPS发展脉络与Levine工作则从问题构建、优化方法、控制相三条线梳理了这一方法从ISGPS、vGPS到cGPS、从Dual GPS到BADMM、从DDP/LQR到PI2的演进,并交代了Sergey Levine的学术背景。公式部分以2014年ICML论文为蓝本推导cGPS。cGPS的KL散度目标解释为什么强化学习目标变成KL散度:展开后等价于最大化累积回报与最大化熵,后者保证最优控制是一个分布而非确定值。cGPS每步代价的推导进一步展示如何把目标经二阶泰勒展开与高斯KL散度(关键一步是配方)化为每步代价,再交给DDP或LQR求解,得到控制相所需的轨迹分布q。10.2节补齐数学工具。L-BFGS有限内存优化说明监督相为何弃用需存N×N矩阵的BFGS,改存最近m步迭代信息,把存储从N²降到约mN。ADMM交替方向乘子法介绍GPS优化方法脉络的核心:它融合对偶上升的可分解性与乘子法的收敛性,引入新变量把目标拆成可并行与不可并行两部分协同更新。动量映射与信息映射揭示vGPS与cGPS之别的根源——KL散度的方向决定M投影与I投影,前者试图覆盖所有高概率轨迹而可能崩溃,后者抑制坏轨迹因而在本章被选中。10.3节的习题(GPS算法、动力学拟合、倒立摆与路径规划)是对上述机制的练习,不另生卡。
第11章 逆向强化学习
本章围绕’如何从专家示范中恢复回报函数’展开。逆向强化学习的定义点明:强化学习的立即回报本是人为给定的,复杂任务却难以指定;人的决策背后存在隐形回报函数,IRL 就是从专家示例中学习它,核心假设是专家策略的累积回报期望不低于任何策略。逆向强化学习的分类把方法归为两大阵营:早期思想归结为最大边际化问题,概率模型方法用于化解歧义。模仿学习与逆强化学习说明 IRL 源自模仿学习:行为克隆只重放轨迹、无法泛化,只模仿到表面;IRL 学到背后的回报函数,能泛化到新场景,属于模仿到精髓。11.2 节展开最大边际方向。特征期望是共同地基:用基函数逼近未知回报函数,值函数写成权重与特征期望的内积,特征期望依赖策略,于是’像专家’被转化为特征期望相近。学徒学习与最大边际给出两步循环——先用最大边际求回报参数(支持向量机式地找区分专家与其他策略的最大边际超平面),再用正向强化学习求最优策略并迭代。最大边际规划MMP把问题建成六元组,引入状态访问频次和流守恒约束,经拉格朗日对偶化为二次规划。结构化分类为避免反复求解 MDP,把动作当类标签按状态分类,约束每个状态处的每个动作,计算量远小于 MMP。神经逆向强化学习针对人工基底表示能力不足,改用神经网络表示回报基底,但仍沿用最大边际框架。11.3 节转向概率模型。最大熵原理与歧义性指出最大边际常出现多个回报函数对应同一专家策略的歧义,而最大熵原理主张在满足约束的分布中选熵最大者、不对未知做主观假设,从而缓解歧义。最大熵逆强化学习与配分函数把专家轨迹视为潜在分布的样本,导出指数形式的最大熵分布,说明配分函数未知时须用次梯度求解,无模型情形改用相对熵与重要性采样。深度逆向强化学习与引导代价学习面对人工特征难选、子循环含难解的正向强化学习两大障碍,用神经网络逼近回报函数并以采样替代正向强化学习,介绍引导代价逆向学习的背景分布、cGPS 采样与正则化。本章补上了前章一直假设为人为给定的回报函数环节,并把第10章的 cGPS 复用为采样工具。
第12章 组合策略梯度和值函数方法
第12章讨论一个根本问题:强化学习的两条主线——值函数方法与直接策略搜索——能否统一。正文先用(12.1)指出单看策略梯度公式看不出二者联系,于是引入两个关键工具:策略梯度的熵正则化与贝尔曼方程的不动点。熵正则化在梯度上叠加熵项,使策略保持随机、增强探索,正则系数权衡“追值函数”与“追不确定性”;贝尔曼操作符是压缩映射,迭代必收敛到唯一不动点。把“不动点处梯度为零”与“策略概率和为1”联立,逐步推导出动作值函数是策略对数加状态常数(12.4),再对动作积分消去常数得到 Q 与 logπ 的线性关系(12.7、12.8)。这些推导集中体现在熵正则化与策略值函数联系,它说明在不动点处 Q 可视为策略对数的回归目标,给出了用策略估计值函数的理论依据。在此基础上,本章进一步证明采用该策略形式时贝尔曼残差会随熵系数下降而收敛到0,而Q学习恰以减小贝尔曼残差为目标,于是自然引出把熵正则化策略梯度(actor)与Q学习(critic)加权组合的PGQL算法,详见PGQL组合策略梯度与Q学习。可见本章是从“理论联系”走向“算法合成”:先证 Q 与策略相通,再借残差收敛性为组合背书,与前后章的值函数方法和策略梯度方法形成呼应,把两条路线在最大熵框架下统一起来。
第13章 值迭代网络
本章值迭代网络的提出,源于对深度强化学习中网络结构的一次反思。反应式策略的局限指出,DQN这类前向网络给状态直接出动作,在识别任务上出色,却无法刻画马尔可夫序列决策中后续决策对当前的影响,换个环境便失效。由此引出规划模块提升泛化:把显式考虑后续回报的规划做进网络后,训练好的规划模块能直接迁移到同类新任务,还能让监督学习、模仿学习派上用场,网格世界导航实验正是佐证。进入13.2,值迭代网络结构给出嵌入办法——值迭代的两步(遍历动作求值、取最大值)分别对应CNN的卷积与池化,展开成网络后前向传播即等于多轮值迭代,策略网络由此获得规划能力。要让模块真正可用,还需处理两端:值迭代模块输入输出说明输入用一层卷积把观测映射成回报图(目标高回报、障碍负回报),输出只用最优值函数在当前状态的局部邻域来求策略。最后注意力嵌入与训练指出,这种“标签只与输入局部相关”正是注意力机制,故在值迭代模块后接attention网络取邻域值;训练既可拿Dijkstra、A*等规划算法产生的专家数据做模仿学习,也可在无标签时用强化学习。整体看,本章把“规划”从外部算法变成网络内可微模块,兼顾了泛化能力与训练灵活性。
第14章 基于模型的强化学习方法:PILCO及其扩展
本章把基于模型的强化学习推进到一条以不确定性为核心的技术路线,按‘概述—PILCO推导—扩展—深度化’展开。14.1 概述先做路线对比:基于模型与无模型对比指出无模型方法通用却数据效率低、缺乏泛化,基于模型方法先学模型再优化策略,数据利用率高却受制于建模难度;真正的瓶颈是模型误差,于是模型误差与概率动力学模型引出 PILCO 的关键思想——不拟合单一确定性动力学函数,而建立覆盖所有可行模型的概率分布,既表达不确定性,又把它送进长期规划。14.2 PILCO 是本章主体。PILCO三层架构用结构图概括其底层学概率转移、中间层做长期预测与评估、顶层做梯度更新的闭环;底层高斯过程动力学模型用差分变量配合高斯过程回归,把输入输出拟合变成可解析推断的分布;中间层长期预测与策略评估说明为何状态分布必须递推计算,后继状态分布四步计算拆解动作分布、联合分布、输出分布、后继分布四阶段并用去相关与正弦约束做高斯逼近;顶层策略更新的梯度推导用链式法则把梯度沿时间步反传,交给共轭梯度或随机梯度下降。14.3 转向扩展:滤波PILCO与置信空间把滤波嵌进执行步与仿真步,让方法在带噪、部分可观系统里于置信空间规划;有向探索与贝叶斯优化指出原算法只有利用没有探索,改用 UCB、PI、EI、GI 采集函数权衡均值与方差。14.4 的深度PILCO输出不确定性用贝叶斯神经网络的权值后验与变分推断替换高斯过程以破解维数灾难,深度PILCO输入不确定性再用粒子采样、重采样与矩匹配,把分布既输出也输入地传递下去。
原书依据 · 11 处
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
- 第14章 基于模型的强化学习方法:PILCO及其扩展 · 查看原书依据
后记
后记以“书虽然结束了,但研究才刚刚开始”开篇,点明全书只是入门。作者列举未展开的高级课题——多智能体、分层、元强化学习、迁移学习等,并预告在知乎专栏更新;这些仅是提名,无独立技术内容,故不生卡。作者强调第四篇的“前沿”只是相对的:领域日新月异,新论文出现速度远大于个人阅读速度,类似2013年左右的深度学习。但剥开新算法的外衣,基本概念和工具仍是本书所讲,所谓“万变不离其宗”,只有深入理解基础,才不会在快速迭代中惊慌失措。作者以2017年6月成稿为界,摘录三件大事:7月DeepMind与OpenAI分别公布鲁棒的无模型算法PPO;8月DeepMind与暴雪开源星际争霸2、OpenAI在dota2的1V1中击败人类顶级玩家;10月DeepMind在《Nature》发表AlphaGo Zero技术细节并提出新的算法框架。结尾强调突破不会停止,鼓励读者打好基础、练好内功,在未来创造历史。
跨章综合
把后半本书串起来看,会发现在”值函数 vs 策略搜索”之外还有三条横向线索。其一是”奖励从哪来”:前 14 章都假设回报函数已知,第 11 章反过来,[[逆向强化学习的定义]]、[[逆向强化学习的分类]]、[[模仿学习与逆强化学习]]、[[特征期望]]、[[学徒学习与最大边际]]、[[最大边际规划MMP]]、[[结构化分类]]、[[神经逆向强化学习]]、[[最大熵原理与歧义性]]、[[最大熵逆强化学习与配分函数]]、[[深度逆向强化学习与引导代价学习]] 讨论如何从专家示范推断奖励,并用最大熵化解奖励歧义。
其二是”两条路线能否合一”:第 12 章把策略梯度与值函数结合,[[熵正则化与策略值函数联系]] 建立熵正则化与策略值函数的对偶,[[PGQL组合策略梯度与Q学习]] 给出兼具两者优点的组合算法。第 13 章则把规划嵌入学习,[[反应式策略的局限]]、[[规划模块提升泛化]]、[[值迭代网络结构]]、[[值迭代模块输入输出]]、[[注意力嵌入与训练]] 说明把值迭代当作可微模块后,策略在新地图上也能泛化。
其三是”是否学习环境模型”:第 14 章[[基于模型与无模型对比]] 重提这个根本选择,[[模型误差与概率动力学模型]] 指出确定性模型的脆弱,[[PILCO三层架构]]、[[高斯过程动力学模型]]、[[长期预测与策略评估]]、[[后继状态分布四步计算]]、[[策略更新的梯度推导]] 用概率模型把模型不确定性贯穿到长程预测与策略更新,[[滤波PILCO与置信空间]]、[[有向探索与贝叶斯优化]]、[[深度PILCO输出不确定性]]、[[深度PILCO输入不确定性]] 展示其扩展。
从 gym 的 [[仿真环境两大引擎]] 到 PILCO 的 [[高斯过程动力学模型]],本书始终围绕一件事:在样本、模型与规划之间做取舍,把”评估—改进”的迭代落实到不同的表示与假设上。这是理解全部算法的统一视角,也是读完各章之后最值得带走的主线。
发散与实践
本书的实践主线落在”可运行的算法复现”上,配合 gym 与 Python/TensorFlow 的实验安排,可以把概念转化为可检查的产出。优先两条:一是用 gym 复现从蒙特卡罗、时间差分到 DQN 的算法演进,对照 [[gym安装与快速上手]]、[[Sarsa同策略算法]]、[[Qlearning异策略算法]]、[[DQN的三大改进]] 记录同一环境下不同方法的收敛曲线;二是实现策略梯度到 TRPO/DDPG 的连续控制对照,按 [[REINFORCE算法]]、[[TRPO的核心目标]]、[[DDPG深度确定性策略]] 在同一倒立摆任务上比较步长稳定性与样本效率。
更进阶的实践是把逆向强化学习与基于模型方法做成小项目:用 [[最大熵逆强化学习与配分函数]] 从简单示范轨迹恢复奖励,用 [[高斯过程动力学模型]] 在低维控制任务上做一步预测与策略评估。这些计划以书中的理论推导和编程示例为依据,交付物是代码、超参数记录与对照实验结论,不表示已完成真实环境中的部署或调参验收。