知识卡片
能量函数与变量兼容性
RBM 用能量函数取代传统前馈网络的损失函数。能量一词来自物理学,原本量化大物体受另一个物体的重力;在机器学习中,能量函数度量两个对象或两个变量之间的兼容性:能量越低,变量越匹配,模型的质量越高。因此 RBM 的训练不再是缩小真实输出与预测输出的差距,而是设法降低整个网络的能量,使可见层与隐藏层的联合配置更相容。能量越低意味着该配置越可能出现,也就越能重建输入,这把监督式的损失最小化转化为无监督的相容性优化。它与 [[吉布斯采样与可见层重建]] 配合:采样在概率空间中搜索低能量配置,而 [[对比散度与参数梯度]] 给出朝该方向更新权重的信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
对于不熟悉能量函数的人,术语能量来自物理学,用于量化大型物体对另一个物体的重力。 物理学中的能量函数测量两个对象或机器学习中两个变量的兼容性。 能量越低,变量之间的兼容性越好,模型的质量越高。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文借物理中的能量概念解释能量函数度量变量兼容性,并明确能量越低兼容性越好、模型质量越高,还指出 RBM 以减少能量替代减少损失函数,支撑能量模型的作用。
- 原始内容:对于不熟悉能量函数的人,术语能量来自物理学,用于量化大型物体对另一个物体的重力。 物理学中的能量函数测量两个对象或机器学习中两个变量的兼容性。 能量越低,变量之间的兼容性越好,模型的质量越高。