知识卡片
退火重要采样
直接估计配分函数对模型评估与比较很关键,但简单重要采样在提议分布 p0 与目标 p1 相距很远(KL 散度大、几乎无重叠)时会失效:多数样本权重可忽略,少数高权重样本造成估计方差极大。退火重要采样(AIS)用一串从已知配分函数的简单分布 p0 逐步过渡到复杂目标 p1 的中间分布来缩小相邻分布间的差距,每个相邻对用简单重要采样估计比率,再连乘得到总比率。中间分布常取目标的几何平均插值,样本则通过保持各中间分布不变的马尔可夫链转移(如 Metropolis-Hastings、Gibbs)顺序生成;为避免数值上溢,通常在 log 域累加权重。AIS 可解释为扩展状态空间上的普通重要采样,有效性有保证,是目前估计无向模型配分函数最常用的方法。桥式采样用单个“桥”分布在两端插值,p0、p1 较近时比 AIS 更高效;链接重要采样把两者优点结合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 直面配分函数 · 查看原书依据
在D KL (p 0 ‖p 1 )很大的情况下(即p 0 和p 1 之间几乎没有重叠),一种称为退火重要采样 (annealed importance sampling,AIS)的方法试图通过引入中间分布来缩小这种差距(Jarzynski,1997;Neal,2001)。
参考来源
- 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文说明 AIS 通过引入中间分布缩小 p0 与 p1 的差距,并将其解释为扩展状态空间上的简单重要采样,称其为估计无向模型配分函数最常用的方法。
- 原始内容:在D KL (p 0 ‖p 1 )很大的情况下(即p 0 和p 1 之间几乎没有重叠),一种称为退火重要采样 (annealed importance sampling,AIS)的方法试图通过引入中间分布来缩小这种差距(Jarzynski,1997;Neal,2001)。