知识卡片
得分匹配与比率匹配
得分匹配通过最小化“模型对数密度对输入的导数”与“数据对数密度对输入的导数”之间的平方差来拟合模型,无需知道配分函数 Z 或其导数——因为 Z 不依赖输入 x,它对 x 的导数为零。借助恒等式,可把对未知数据分布得分的依赖转化为只含模型得分的期望,从而在样本上估计。代价是需要关于 x 的一阶乃至二阶导数,故不适用于离散数据,也不能与只给下界的近似推断结合,难以处理隐单元复杂相互作用的深度模型。比率匹配把思路推广到二值离散数据:比较某位取反前后的概率比率(配分函数同样抵消),使与训练样本汉明距离为 1 的状态概率下降,在图像去噪上优于 SML 和伪似然,但每次更新的计算代价约为 SML 的 n 倍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 直面配分函数 · 查看原书依据
得分匹配(Hyvärinen,2005b)提供了另一种训练模型而不需要估计Z或其导数的一致性方法。对数密度关于参数的导数 ,被称为其得分 (score),得分匹配这个名称正是来自这样的术语。
参考来源
- 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文指出得分匹配通过令 Z 对 x 的导数为零来避开配分函数难题,并说明比率匹配采用与伪似然相同的比率抵消策略绕开配分函数。
- 原始内容:得分匹配(Hyvärinen,2005b)提供了另一种训练模型而不需要估计Z或其导数的一致性方法。对数密度关于参数的导数 ,被称为其得分 (score),得分匹配这个名称正是来自这样的术语。