知识卡片
对比散度与虚假模态
对比散度(CD-k)用训练数据样本初始化马尔可夫链,只跑 k 步吉布斯采样来近似负相,从而避免了朴素 MCMC 每一步都要从随机态磨合链的高昂代价。因为初值来自数据集,获取样本的代价几乎为零,且正相始终能准确推高数据的模型概率。但 CD 只是真实负相的近似:它难以抑制远离真实训练样本的高概率区域,即“虚假模态”——模型上概率高、数据上概率低的峰值;由于链从数据点出发且步数很少,根本访问不到这些远处峰值。结果模型在虚假模式上浪费概率质量,既会采样出与数据不相似的样本,也难以把质量集中到正确模式上。CD 的更新方向甚至不是任何函数的梯度,但它对训练可堆叠的浅层模型(如 RBM)仍有实用价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 直面配分函数 · 查看原书依据
CD未能定性地实现真实负相的主要原因是,它不能抑制远离真实训练样本的高概率区域。这些区域在模型上具有高概率,但是在数据生成区域上具有低概率,被称为虚假模态 (spurious modes)。
参考来源
- 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文用图18.2专门说明 CD 的负相为何无法抑制虚假模态,指出链从数据点初始化且只运行几步,不太可能到达模型中离数据点较远的模式。
- 原始内容:CD未能定性地实现真实负相的主要原因是,它不能抑制远离真实训练样本的高概率区域。这些区域在模型上具有高概率,但是在数据生成区域上具有低概率,被称为虚假模态 (spurious modes)。