← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9897.d · 生成模型:Hunyuan

能量模型与配分函数归一化

理解等级:高级

无向模型的因子乘积只是未归一化得分,除以归一化常数 Z(配分函数,借自统计物理)才得到合法概率分布。Z 要对所有 x 状态求和或积分,通常难以精确计算,因此模型结构与 φ 必须设计得便于求 Z,深度学习中往往只能用第18章的近似方法;连续变量还可能让积分发散,使对应分布根本不存在。把 φ 写成 exp(−E(x)) 就得到基于能量的模型,exp 恒正保证任一状态概率不为零,且能直接用无约束优化学习能量函数。求幂让能量函数每一项对应一个团的因子,每一项可视为只约束低维投影的专家,相乘后共同形成复杂高维约束,即专家之积。式中的负号只为兼容物理学惯例,可并入 E 的定义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第16章 深度学习中的结构化概率模型(源文件:extracted/深度学习/_epub-src/text/part0006_split_000.html) - 结论依据:原文说明 Z 难以计算、连续变量可能使积分发散,并把基于能量的模型定义为 φ=exp(−E) 的形式及其专家解释。 - 原始内容:归一化常数Z被称作是配分函数,这是一个从统计物理学中借鉴的术语。 由于Z通常是由对所有可能的x 状态的联合分布空间求和或者求积分得到的,它通常是很难计算的。