知识卡片

普通读书笔记卡 · 9899 · 生成模型:Hunyuan

正负相分解

理解等级:初级

用最大似然训练无向概率模型时,对数似然对参数的梯度会拆成两项:一项是未归一化模型在真实数据上的期望(正相),另一项是 log Z 对参数的梯度(负相)。这一分解之所以关键,是因为配分函数依赖参数,负相通常难以精确计算,而正相在无潜变量或潜变量相互作用弱时往往容易求。用能量函数参数化时,正相相当于压低训练样本的能量,负相相当于抬高模型采样样本的能量;两者平衡时数据分布与模型分布一致,梯度在期望上消失,训练停止。该框架把“配分函数难算”的困难集中到了负相的计算与近似上,成为本章后续所有方法的共同出发点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 直面配分函数 · 查看原书依据

      这是机器学习中非常著名的正相 (positive phase)和负相 (negative phase)的分解。 对于大多数感兴趣的无向模型而言,负相是困难的。没有潜变量或潜变量之间很少相互作用的模型通常会有一个易于计算的正相。

    参考来源

    - 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文明确指出该正负相分解是机器学习中非常著名的结论,并说明无向模型中负相困难、正相常较易计算,RBM 正是具有简单正相和困难负相的典型例子。 - 原始内容:这是机器学习中非常著名的正相 (positive phase)和负相 (negative phase)的分解。 对于大多数感兴趣的无向模型而言,负相是困难的。没有潜变量或潜变量之间很少相互作用的模型通常会有一个易于计算的正相。