知识卡片

普通读书笔记卡 · 9899.e · 生成模型:Hunyuan

噪声对比估计

理解等级:高级

噪声对比估计(NCE)把“估计概率分布 p(x)”这一无监督问题改造成二元分类的监督问题:让逻辑回归分类器区分样本来自模型分布还是来自一个易采样、易评估的噪声分布。它把 −log Z 当作额外参数 c 与模型参数一起用最大似然估计,因此不直接计算配分函数;c 估计越好,得到的分布越接近有效概率分布——这也正是它不能用纯最大似然训练的原因(那样会把 c 推向无穷大)。该分类问题的最大似然给出原问题的渐近一致估计,在词汇表很大、每次只采样一个词的条件语言建模中尤为有效。局限在于变量很多时效率下降(模型一旦学会基本边缘统计就会拒绝大多数噪声样本),且同样不能与下界方法结合。把噪声分布设成上一刻模型副本的自对比估计,其梯度期望等价于最大似然;而“好生成模型应能区分数据与噪声”的思想直接催生了生成对抗网络。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 直面配分函数 · 查看原书依据

      NCE将估计p(x )的无监督学习问题转化为学习一个概率二元分类器,其中一个类别对应模型生成的数据。该监督学习问题中的最大似然估计定义了原始问题的渐近一致估计。

    参考来源

    - 位置:《深度学习》第18章 直面配分函数(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文明确 NCE 将无监督估计转化为二元分类监督问题,其最大似然定义了原问题的渐近一致估计,并指出它通向生成对抗网络的思想。 - 原始内容:NCE将估计p(x )的无监督学习问题转化为学习一个概率二元分类器,其中一个类别对应模型生成的数据。该监督学习问题中的最大似然估计定义了原始问题的渐近一致估计。