← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9870.g · 生成模型:Hunyuan

压缩映射证明收敛

理解等级:高级

为什么策略评估的迭代一定会收敛?答案是泛函分析中的压缩映射与不动点定理。定义:在完备度量空间(X,d)上,映射T若存在常数a满足0≤a,使任意两点d(Tx,Ty)≤a·d(x,y),就称T为压缩映射;满足x=Tx的点叫不动点。定理(巴拿赫不动点定理)指出:完备空间上的压缩映射有唯一不动点,且从任意起点反复迭代x_{k+1}=T(x_k)都收敛到它。符号含义:d是两点距离,a是压缩系数,x*是唯一的不动点。把它用到策略评估:定义贝尔曼评估算子T(v)(s)=Σa π(a|s)[r(s,a)+γΣ{s′}P(s′|s,a)v(s′)]。由于P非负且每行和为1、0≤γ,可推出|T(v)(s)-T(u)(s)|≤γ·max_s|v(s)-u(s)|=γ·‖v-u‖∞,即T在无穷范数(取向量各分量绝对值的最大者)下是压缩系数a=γ的压缩映射,故迭代必收敛到唯一vπ。证明分三个不等式:先取动作值差绝对值最大的分支,再取下一级值函数差最大的状态,最后推广到整个状态空间。小数字演算:γ=0.5时若两轮值函数最大差为2,作用一次后差不超过1,再作用后不超过0.5,呈几何级数收缩,这正是收敛的直观来源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 基于模型的动态规划方法 · 查看原书依据

      定理1完备度量空间上的压缩映射具有唯一的不动点。 定理1是说,从度量空间任何一点出发,只要满足压缩映射,压缩映射的序列必定会收敛到唯一的不动点。因此证明一个迭代序列是不是收敛,只要证明该序列所对应的映射是不是压缩映射。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文给出压缩映射与不动点的定义及完备度量空间上压缩映射有唯一不动点的定理,并说明选取无穷范数这一特殊度量来证明策略评估的映射是压缩映射、迭代收敛。 - 原始内容:定理1完备度量空间上的压缩映射具有唯一的不动点。 定理1是说,从度量空间任何一点出发,只要满足压缩映射,压缩映射的序列必定会收敛到唯一的不动点。因此证明一个迭代序列是不是收敛,只要证明该序列所对应的映射是不是压缩映射。