知识卡片
玻尔兹曼机的局部学习
在最大似然训练下,某个连接的权重更新只依赖这对单元在两个分布下的统计:数据驱动的正相与模型驱动的负相。网络其余部分只负责塑造这些统计量,权重更新本身不需要知道它们如何产生,因此学习规则是局部的。正相中经常同时激活的单元之间的连接被加强,这正是Hebbian的“fire together, wire together”。这种局部性被看作具有一定的生物学合理性,可类比突触仅依据相邻神经元的放电来学习;相比之下,反向传播似乎需要额外的辅助通信网络来向后传递梯度。负相阶段在生物学上则较难解释,睡眠做梦只是猜测性的类比。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
玻尔兹曼机有一个有趣的性质,当基于最大似然的学习规则训练时,连接两个单元的特定权重的更新仅取决于这两个单元在不同分布下收集的统计信息
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文用整段论述权重更新的局部性、Hebbian解释以及与反向传播的生物学对比,支撑上述判断。
- 原始内容:玻尔兹曼机有一个有趣的性质,当基于最大似然的学习规则训练时,连接两个单元的特定权重的更新仅取决于这两个单元在不同分布下收集的统计信息