知识卡片

普通读书笔记卡 · 9871.e · 生成模型:Hunyuan

重要性采样

理解等级:高级

当目标分布 p 太复杂而无法直接采样时,可从简单的提议分布 q 采样,再乘重要性权重 p(x)/q(x) 修正,得到对 E_p[f] 的无偏估计。代价是方差:权重改变了被积函数的形状,普通重要性采样的方差可能趋于无穷;q 与 p 越接近方差越小,而 p 往往难以找到相近的简单分布。缓解办法是加权重要性采样,用归一化权重降低方差。在异策略蒙特卡罗中,行为策略 b 产生的轨迹分布对应 q,目标策略 π 对应 p,因此用 b 的回报评估 π 时要在回报前乘轨迹概率比 π/b,这是 [[同策略与异策略]] 能工作的关键修正。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出重要性权重定义、基于重要性采样的积分估计为无偏估计但方差无穷大的结论、加权重要性采样降方差的方法,并把它对应到异策略中行为策略与目标策略的轨迹概率比。 - 原始内容:由式(4.7)可知,基于重要性采样的积分估计为无偏估计,即估计的期望值等于真实的期望。但是,基于重要性采样的积分估计的方差无穷大。