知识卡片
能量模型与深度玻尔兹曼机
能量模型换了一套语言描述概率:不直接算概率密度,而是给每个数据点打一个能量分数,能量越低,出现的可能性越高。训练目标因此变成两句话——压低真实数据的能量,抬高模型自己生成的样本的能量。
DBM(深度玻尔兹曼机)是这套思路的深度版本:多层隐藏节点加一层可见节点,可见层对应真实数据(比如一张图像的像素)。它与 MLP 的差别不只是结构:节点是二值的而非连续的,学习算法用对比散度而不是反向传播。
生成方式很直观也很慢:先把可见层随机初始化,或从一张已有图像出发,然后做若干轮吉布斯采样,让系统在能量面上游走,最终可见层的状态就是生成的图像。
它的历史地位高于实用价值——最早证明无监督逐层预训练可行,是深度学习的早期突破。但训练成本高、流程复杂、表达能力弱,生成质量明显落后于后续模型,今天基本不再用于数据生成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 生成式AI模型 · 查看原书依据
EBM(energy-based model,能量模型)是生成式模型中的一种,通过学习能量函数来为每个数据点分配一个标量值(称为能量)。能量值越低,所对应数据点出现的可能性越高。
参考来源
- 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml)
- 结论依据:原文 9.2.1 节说明能量函数、DBM 的可见层与二值节点、对比散度训练、吉布斯采样生成流程,并评价其训练昂贵、表达力较弱。
- 原始内容:EBM(energy-based model,能量模型)是生成式模型中的一种,通过学习能量函数来为每个数据点分配一个标量值(称为能量)。能量值越低,所对应数据点出现的可能性越高。