知识卡片
伪似然估计
无向模型中概率的比率极易计算,因为配分函数在分子分母中相互抵消。伪似然正是利用这一点,改用“给定所有其他变量预测单个变量”的条件概率之积作为目标,从而完全绕开配分函数。若每个变量有 k 个取值,估计所有条件只需 k×n 次计算,而求配分函数需 k 的 n 次方次,复杂度由指数降为线性。最大化伪似然在采样极限下是渐近一致的;广义伪似然在条件集大小上插值,权衡计算代价与偏差,图像中空间局部的小窗口是典型应用。它尤其适合只需条件分布的任务(如填充少量缺失值),却不擅长需要完整联合分布的密度估计与采样;又因为分母中出现未归一化概率,无法与仅提供下界的变分推断结合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 直面配分函数 · 查看原书依据
这看起来似乎是一个没有道理的策略,但可以证明最大化伪似然的估计是渐近一致的(Mase,1995)。当然,在数据集不趋近于大采样极限的情况下,伪似然可能表现出与最大似然估计不同的结果。
参考来源
- 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文说明伪似然估计是渐近一致的,但也指出有限数据下可能与最大似然结果不同,并强调其不能与仅提供下界的方法一起使用。
- 原始内容:这看起来似乎是一个没有道理的策略,但可以证明最大化伪似然的估计是渐近一致的(Mase,1995)。当然,在数据集不趋近于大采样极限的情况下,伪似然可能表现出与最大似然估计不同的结果。