← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9685.d · 生成模型:DeepSeek-V4.1-Flash

零概率与平滑的基本思路

理解等级:中级

MLE 的致命缺陷是零概率。某个 n 元组只要在训练语料里没出现,概率就是 0;而整句概率是连乘,一个因子为 0 就全句为 0。对语音识别、机器翻译这类要给所有候选打分的任务,这等于把一条合法路径直接判死,而不是判为罕见。

平滑(smoothing)的共同做法是从已观测的 n 元组身上挪走一点概率质量,分给未观测的,同时保持总和为 1。原文提到的三类方法代表三种挪法: - 拉普拉斯平滑:给每个可能接续的计数统一加 1。简单,但词表大时把大量质量摊给了根本不可能的组合。 - 古德-图灵平滑:用「出现 r+1 次的 n 元组有多少个」反推「出现 r 次」的真实概率,对低频计数整体打折,折扣让给零频项。 - Kneser-Ney 平滑:在折扣之外还看接续多样性——一个词能接多少种不同的前文,比它出现多少次更能说明它作为后继的可用性,是 n 元语法的强基线。

代价:平滑在填补稀疏的同时抹平了真实差异,折扣力度需要调;而且低阶回退只补局部,长距离依赖依然缺失。这是统计路线的天花板,也是神经方法接手的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      虽然MLE在NLP中得到广泛应用,但是它也有一些局限性。例如,如果语料库中没有出现特定的n元语法,则其MLE概率将为零,这对于某些应用程序来说是有问题的。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「虽然MLE在NLP中得到广泛应用,但是它也有一些局限性。例如,如果语…」为中心展开,本卡的核心判断「MLE 的致命缺陷是零概率。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:虽然MLE在NLP中得到广泛应用,但是它也有一些局限性。例如,如果语料库中没有出现特定的n元语法,则其MLE概率将为零,这对于某些应用程序来说是有问题的。