← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9899.d · 生成模型:Hunyuan

得分匹配与比率匹配

理解等级:中级

得分匹配通过最小化“模型对数密度对输入的导数”与“数据对数密度对输入的导数”之间的平方差来拟合模型,无需知道配分函数 Z 或其导数——因为 Z 不依赖输入 x,它对 x 的导数为零。借助恒等式,可把对未知数据分布得分的依赖转化为只含模型得分的期望,从而在样本上估计。代价是需要关于 x 的一阶乃至二阶导数,故不适用于离散数据,也不能与只给下界的近似推断结合,难以处理隐单元复杂相互作用的深度模型。比率匹配把思路推广到二值离散数据:比较某位取反前后的概率比率(配分函数同样抵消),使与训练样本汉明距离为 1 的状态概率下降,在图像去噪上优于 SML 和伪似然,但每次更新的计算代价约为 SML 的 n 倍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 直面配分函数 · 查看原书依据

      得分匹配(Hyvärinen,2005b)提供了另一种训练模型而不需要估计Z或其导数的一致性方法。对数密度关于参数的导数 ,被称为其得分 (score),得分匹配这个名称正是来自这样的术语。

    参考来源

    - 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文指出得分匹配通过令 Z 对 x 的导数为零来避开配分函数难题,并说明比率匹配采用与伪似然相同的比率抵消策略绕开配分函数。 - 原始内容:得分匹配(Hyvärinen,2005b)提供了另一种训练模型而不需要估计Z或其导数的一致性方法。对数密度关于参数的导数 ,被称为其得分 (score),得分匹配这个名称正是来自这样的术语。