← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9898.e · 生成模型:Hunyuan

回火与深度辅助混合

理解等级:高级

为缓解[[峰值间混合挑战]],回火引入温度参数 β 来调节目标分布的尖锐程度:β 是温度的倒数,β=1 是训练时的单位温度,β 的高温让分布更平坦、低谷更浅,便于链在不同峰值间穿梭。回火转移让链临时在高温分布采样以完成跨峰混合,再回到单位温度采样精确样本;并行回火则同时运行多个温度的链,允许样本在高温槽与低温槽间随机跳转,由最高温负责探索、最低温负责产出正确分布。其局限在于临界温度附近温度转移必须放得很慢才能保证有效性,因此至今未能彻底解决复杂能量模型的采样。另一条思路是让 h 成为 x 的深度表示:自编码器和 RBM 的深层 h 边缘分布更均匀、更接近单峰,峰值区域间距更小,从而加快 Gibbs 采样在峰值间的混合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 蒙特卡罗方法 · 查看原书依据

      基于回火转移 (tempered transition)(Neal,1994)的马尔可夫链临时从高温度的分布中采样使其在不同峰值之间混合,然后继续从单位温度的分布中采样。

    参考来源

    - 位置:《深度学习》第17章 蒙特卡罗方法(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文给出温度 β 的物理解释以及回火转移、并行回火两种做法与局限,并列举深层表示使 h 空间更均匀、更趋单峰的观察。 - 原始内容:基于回火转移 (tempered transition)(Neal,1994)的马尔可夫链临时从高温度的分布中采样使其在不同峰值之间混合,然后继续从单位温度的分布中采样。