知识卡片

普通读书笔记卡 · 9899.f · 生成模型:Hunyuan

退火重要采样

理解等级:高级

直接估计配分函数对模型评估与比较很关键,但简单重要采样在提议分布 p0 与目标 p1 相距很远(KL 散度大、几乎无重叠)时会失效:多数样本权重可忽略,少数高权重样本造成估计方差极大。退火重要采样(AIS)用一串从已知配分函数的简单分布 p0 逐步过渡到复杂目标 p1 的中间分布来缩小相邻分布间的差距,每个相邻对用简单重要采样估计比率,再连乘得到总比率。中间分布常取目标的几何平均插值,样本则通过保持各中间分布不变的马尔可夫链转移(如 Metropolis-Hastings、Gibbs)顺序生成;为避免数值上溢,通常在 log 域累加权重。AIS 可解释为扩展状态空间上的普通重要采样,有效性有保证,是目前估计无向模型配分函数最常用的方法。桥式采样用单个“桥”分布在两端插值,p0、p1 较近时比 AIS 更高效;链接重要采样把两者优点结合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 直面配分函数 · 查看原书依据

      在D KL (p 0 ‖p 1 )很大的情况下(即p 0 和p 1 之间几乎没有重叠),一种称为退火重要采样 (annealed importance sampling,AIS)的方法试图通过引入中间分布来缩小这种差距(Jarzynski,1997;Neal,2001)。

    参考来源

    - 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文说明 AIS 通过引入中间分布缩小 p0 与 p1 的差距,并将其解释为扩展状态空间上的简单重要采样,称其为估计无向模型配分函数最常用的方法。 - 原始内容:在D KL (p 0 ‖p 1 )很大的情况下(即p 0 和p 1 之间几乎没有重叠),一种称为退火重要采样 (annealed importance sampling,AIS)的方法试图通过引入中间分布来缩小这种差距(Jarzynski,1997;Neal,2001)。