知识卡片
持续性对比散度
随机最大似然(SML,深度学习社群称持续性对比散度 PCD)不再在每个梯度步重新初始化马尔可夫链,而是让链保持上一步更新后的状态,下一步直接接着用。由于随机梯度下降的步长很小,前后两个模型分布非常接近,上一步的样本已近似来自当前模型,因此几乎不需要额外磨合。这种“持续性”带来两个好处:链能在整个学习过程中自由游走、探索到模型的所有峰值,因而比 CD 更不容易形成虚假模态;同时可见与隐藏变量的状态都被保存,为深度模型提供了初始化,使其能高效训练深度玻尔兹曼机。代价是方差较高,且当学习率相对吉布斯步数过大、链跟不上模型变化时会失准;训练后评估采样必须从全新的随机起点初始化新链。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 直面配分函数 · 查看原书依据
另一个解决CD中许多问题的不同策略是,在每个梯度步骤中初始化马尔可夫链为先前梯度步骤的状态值。这个方法首先被应用数学和统计学社群发现,命名为随机最大似然 (SML)(Younes,1998),后来又在深度学习社群中以名称持续性对比散度
参考来源
- 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文描述了用先前梯度步状态初始化链的 SML/PCD 策略,并说明它可自由探索远处峰值、为隐藏单元提供初值、比 CD 更不易形成具有虚假模态的模型。
- 原始内容:另一个解决CD中许多问题的不同策略是,在每个梯度步骤中初始化马尔可夫链为先前梯度步骤的状态值。这个方法首先被应用数学和统计学社群发现,命名为随机最大似然 (SML)(Younes,1998),后来又在深度学习社群中以名称持续性对比散度