知识卡片

普通读书笔记卡 · 9421.a · 生成模型:Tencent Hunyuan Hy

能量函数与变量兼容性

理解等级:中级

RBM 用能量函数取代传统前馈网络的损失函数。能量一词来自物理学,原本量化大物体受另一个物体的重力;在机器学习中,能量函数度量两个对象或两个变量之间的兼容性:能量越低,变量越匹配,模型的质量越高。因此 RBM 的训练不再是缩小真实输出与预测输出的差距,而是设法降低整个网络的能量,使可见层与隐藏层的联合配置更相容。能量越低意味着该配置越可能出现,也就越能重建输入,这把监督式的损失最小化转化为无监督的相容性优化。它与 [[吉布斯采样与可见层重建]] 配合:采样在概率空间中搜索低能量配置,而 [[对比散度与参数梯度]] 给出朝该方向更新权重的信号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文借物理中的能量概念解释能量函数度量变量兼容性,并明确能量越低兼容性越好、模型质量越高,还指出 RBM 以减少能量替代减少损失函数,支撑能量模型的作用。 - 原始内容:对于不熟悉能量函数的人,术语能量来自物理学,用于量化大型物体对另一个物体的重力。 物理学中的能量函数测量两个对象或机器学习中两个变量的兼容性。 能量越低,变量之间的兼容性越好,模型的质量越高。