知识卡片

普通读书笔记卡 · 9685.c · 生成模型:DeepSeek-V4.1-Flash

用计数估出 n 元语法概率

理解等级:中级

n 元语法的参数用最大似然估计(MLE)直接数出来。以二元语法为例:

P(wn | wn−1) = C(wn−1 wn) / C(wn−1)

分子 C(wn−1 wn) 是词对 (wn−1, wn) 在语料中紧邻出现的次数,分母 C(wn−1) 是前一个词出现的总次数。意思很直白:在所有接在 wn−1 后面的词里,有多大比例接的是 wn。

一条自洽检查:把固定 wn−1 的所有二元组计数加起来,Σ C(wn−1 wn) 必须等于 C(wn−1) 这个单元语法(unigram)计数。因为 wn−1 每出现一次,都恰好带一个后继(句尾可用特殊符号表示)。这条恒等式保证归一化后概率之和为 1,也是实现时排查计数表是否漏项的办法——如果二元组之和超过单元计数,说明统计口径错了。

边界:MLE 无超参数、可解释,但它严格按「见过才算」分配概率。自然语言是长尾分布,测试集出现训练集未覆盖的搭配几乎必然,MLE 会给它 0 分。这不是精度问题,而是模型结构问题,必须靠平滑处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      为了确定二元语法或n元语法的概率,一种常用方法是最大似然估计(Maximum Likelihood Estimation,MLE)。这种方法基于计算语料库中每个n元语法的频率,并将计数进行归一化处理,以获得介于0和1之间的概率。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「为了确定二元语法或n元语法的概率,一种常用方法是最大似然估计(Max…」为中心展开,本卡的核心判断「n 元语法的参数用最大似然估计(MLE)直接数出来。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了确定二元语法或n元语法的概率,一种常用方法是最大似然估计(Maximum Likelihood Estimation,MLE)。这种方法基于计算语料库中每个n元语法的频率,并将计数进行归一化处理,以获得介于0和1之间的概率。