知识卡片
能量模型与配分函数归一化
无向模型的因子乘积只是未归一化得分,除以归一化常数 Z(配分函数,借自统计物理)才得到合法概率分布。Z 要对所有 x 状态求和或积分,通常难以精确计算,因此模型结构与 φ 必须设计得便于求 Z,深度学习中往往只能用第18章的近似方法;连续变量还可能让积分发散,使对应分布根本不存在。把 φ 写成 exp(−E(x)) 就得到基于能量的模型,exp 恒正保证任一状态概率不为零,且能直接用无约束优化学习能量函数。求幂让能量函数每一项对应一个团的因子,每一项可视为只约束低维投影的专家,相乘后共同形成复杂高维约束,即专家之积。式中的负号只为兼容物理学惯例,可并入 E 的定义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 深度学习中的结构化概率模型 · 查看原书依据
归一化常数Z被称作是配分函数,这是一个从统计物理学中借鉴的术语。 由于Z通常是由对所有可能的x 状态的联合分布空间求和或者求积分得到的,它通常是很难计算的。
参考来源
- 位置:《深度学习》第16章 深度学习中的结构化概率模型(源文件:extracted/深度学习/_epub-src/text/part0006_split_000.html)
- 结论依据:原文说明 Z 难以计算、连续变量可能使积分发散,并把基于能量的模型定义为 φ=exp(−E) 的形式及其专家解释。
- 原始内容:归一化常数Z被称作是配分函数,这是一个从统计物理学中借鉴的术语。 由于Z通常是由对所有可能的x 状态的联合分布空间求和或者求积分得到的,它通常是很难计算的。