知识卡片
蒙特卡罗估计的统计基础
当目标量是一个难以直接求和或积分的表达式时,可以把它改写成某个概率分布下的期望,再用从该分布抽出的 n 个样本的平均值去近似它。这个经验均值是原期望的无偏估计,因为每个样本估计的期望都等于目标值。只要单个样本函数的方差有界,大数定律保证样本数增大时均值几乎必然收敛到真值,而估计方差约为单样本方差除以 n,因此误差按 1/√n 的速度缩小。中心极限定理进一步说明均值的分布渐近于以真值为中心的正态分布,从而可以给出置信区间来度量估计误差。这套推理的前提是能方便地从目标分布 p 采样;一旦做不到,就需要换用[[重要采样降低估计方差]]或[[马尔可夫链蒙特卡罗收敛]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 蒙特卡罗方法 · 查看原书依据
当我们需要以较小的代价近似许多项的和或某个积分时,采样是一种很灵活的选择。有时候,我们使用它加速一些很费时却易于处理的求和估计,就像我们使用小批量对整个训练代价进行子采样一样。
参考来源
- 位置:《深度学习》第17章 蒙特卡罗方法(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文以小批量子采样训练代价、估计配分函数对数梯度为例说明采样近似求和的动机,并用无偏性、大数定律、方差递减和中心极限定理论证样本均值的合理性。
- 原始内容:当我们需要以较小的代价近似许多项的和或某个积分时,采样是一种很灵活的选择。有时候,我们使用它加速一些很费时却易于处理的求和估计,就像我们使用小批量对整个训练代价进行子采样一样。