知识卡片
回火与深度辅助混合
为缓解[[峰值间混合挑战]],回火引入温度参数 β 来调节目标分布的尖锐程度:β 是温度的倒数,β=1 是训练时的单位温度,β 的高温让分布更平坦、低谷更浅,便于链在不同峰值间穿梭。回火转移让链临时在高温分布采样以完成跨峰混合,再回到单位温度采样精确样本;并行回火则同时运行多个温度的链,允许样本在高温槽与低温槽间随机跳转,由最高温负责探索、最低温负责产出正确分布。其局限在于临界温度附近温度转移必须放得很慢才能保证有效性,因此至今未能彻底解决复杂能量模型的采样。另一条思路是让 h 成为 x 的深度表示:自编码器和 RBM 的深层 h 边缘分布更均匀、更接近单峰,峰值区域间距更小,从而加快 Gibbs 采样在峰值间的混合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 蒙特卡罗方法 · 查看原书依据
基于回火转移 (tempered transition)(Neal,1994)的马尔可夫链临时从高温度的分布中采样使其在不同峰值之间混合,然后继续从单位温度的分布中采样。
参考来源
- 位置:《深度学习》第17章 蒙特卡罗方法(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文给出温度 β 的物理解释以及回火转移、并行回火两种做法与局限,并列举深层表示使 h 空间更均匀、更趋单峰的观察。
- 原始内容:基于回火转移 (tempered transition)(Neal,1994)的马尔可夫链临时从高温度的分布中采样使其在不同峰值之间混合,然后继续从单位温度的分布中采样。