知识卡片
重要采样降低估计方差
在[[蒙特卡罗估计的统计基础]]所依赖的直接采样不可行、或虽可行却方差过大时,重要采样把被估计的乘积 p(x)f(x) 重新分解为从容易采样的提议分布 q 抽样,再用 p·f/q 的均值估计期望。对任意 q 估计的期望都正确,但方差高度依赖 q:好的 q 把权重更多放在 |f|p 大的区域。理论上最优的 q* 正比于 |f|p,当 f 不变号时甚至一个样本就足够,但求 q* 本身等价于解决原问题,实践中只能选近似分布。有偏重要采样进一步允许使用未归一化的 p 与 q,只在 n→∞ 时渐近无偏。高维下 q 往往过于简单,既会采到大量近乎为零的无用样本,也可能偶发极大比值,造成典型低估且难以被偶发高估抵消。尽管如此,它仍广泛用于大规模词表语言模型、配分函数估计、变分自编码器的对数似然以及困难样本的梯度估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 蒙特卡罗方法 · 查看原书依据
对于重要采样来说,任意q分布都是可行的(从得到一个期望上正确的值的角度来说),q ∗ 指的是最优的q分布(从得到最小方差的角度上考虑)。从q ∗ 中采样往往是不可行的,但是其他仍然能降低方差的q的选择还是可行的。
参考来源
- 位置:《深度学习》第17章 蒙特卡罗方法(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文推导任意 q 下估计期望不变而方差随 q 变化,给出最优 q* 与有偏重要采样,并讨论高维风险与实际应用。
- 原始内容:对于重要采样来说,任意q分布都是可行的(从得到一个期望上正确的值的角度来说),q ∗ 指的是最优的q分布(从得到最小方差的角度上考虑)。从q ∗ 中采样往往是不可行的,但是其他仍然能降低方差的q的选择还是可行的。