← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9659.a · 生成模型:DeepSeek-V4.1-Flash

能量模型与深度玻尔兹曼机

理解等级:高级

能量模型换了一套语言描述概率:不直接算概率密度,而是给每个数据点打一个能量分数,能量越低,出现的可能性越高。训练目标因此变成两句话——压低真实数据的能量,抬高模型自己生成的样本的能量。

DBM(深度玻尔兹曼机)是这套思路的深度版本:多层隐藏节点加一层可见节点,可见层对应真实数据(比如一张图像的像素)。它与 MLP 的差别不只是结构:节点是二值的而非连续的,学习算法用对比散度而不是反向传播。

生成方式很直观也很慢:先把可见层随机初始化,或从一张已有图像出发,然后做若干轮吉布斯采样,让系统在能量面上游走,最终可见层的状态就是生成的图像。

它的历史地位高于实用价值——最早证明无监督逐层预训练可行,是深度学习的早期突破。但训练成本高、流程复杂、表达能力弱,生成质量明显落后于后续模型,今天基本不再用于数据生成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 生成式AI模型 · 查看原书依据

      EBM(energy-based model,能量模型)是生成式模型中的一种,通过学习能量函数来为每个数据点分配一个标量值(称为能量)。能量值越低,所对应数据点出现的可能性越高。

    参考来源

    - 位置:《大模型技术30讲》第9讲 生成式AI模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0013.xhtml) - 结论依据:原文 9.2.1 节说明能量函数、DBM 的可见层与二值节点、对比散度训练、吉布斯采样生成流程,并评价其训练昂贵、表达力较弱。 - 原始内容:EBM(energy-based model,能量模型)是生成式模型中的一种,通过学习能量函数来为每个数据点分配一个标量值(称为能量)。能量值越低,所对应数据点出现的可能性越高。