← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9898.a · 生成模型:Hunyuan

重要采样降低估计方差

理解等级:高级

在[[蒙特卡罗估计的统计基础]]所依赖的直接采样不可行、或虽可行却方差过大时,重要采样把被估计的乘积 p(x)f(x) 重新分解为从容易采样的提议分布 q 抽样,再用 p·f/q 的均值估计期望。对任意 q 估计的期望都正确,但方差高度依赖 q:好的 q 把权重更多放在 |f|p 大的区域。理论上最优的 q* 正比于 |f|p,当 f 不变号时甚至一个样本就足够,但求 q* 本身等价于解决原问题,实践中只能选近似分布。有偏重要采样进一步允许使用未归一化的 p 与 q,只在 n→∞ 时渐近无偏。高维下 q 往往过于简单,既会采到大量近乎为零的无用样本,也可能偶发极大比值,造成典型低估且难以被偶发高估抵消。尽管如此,它仍广泛用于大规模词表语言模型、配分函数估计、变分自编码器的对数似然以及困难样本的梯度估计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 蒙特卡罗方法 · 查看原书依据

      对于重要采样来说,任意q分布都是可行的(从得到一个期望上正确的值的角度来说),q ∗ 指的是最优的q分布(从得到最小方差的角度上考虑)。从q ∗ 中采样往往是不可行的,但是其他仍然能降低方差的q的选择还是可行的。

    参考来源

    - 位置:《深度学习》第17章 蒙特卡罗方法(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文推导任意 q 下估计期望不变而方差随 q 变化,给出最优 q* 与有偏重要采样,并讨论高维风险与实际应用。 - 原始内容:对于重要采样来说,任意q分布都是可行的(从得到一个期望上正确的值的角度来说),q ∗ 指的是最优的q分布(从得到最小方差的角度上考虑)。从q ∗ 中采样往往是不可行的,但是其他仍然能降低方差的q的选择还是可行的。