知识卡片

普通读书笔记卡 · 9685.b · 生成模型:DeepSeek-V4.1-Flash

马尔可夫假设与 n 元语法

理解等级:高级

n 元语法(n-gram)用一条近似取代完整历史:

P(wn | w1 … wn−1) ≈ P(wn | wn−N+1 … wn−1)

N 是阶数。N=2 为二元语法(bi-gram),只看前一个词;N=3 为三元语法,回看两个词;一般地回看 N−1 个词。背后的假设是马尔可夫假设:下一个词只通过最近的过去与历史相连,更早的信息被一刀切断。

收益:需要估计的条件组合从 |V| 的 L−1 次方降到 |V| 的 N−1 次方,每个组合在语料里都能数到较多次数,估计方差小、计算快。

代价:偏差。假设本身不成立——代词指代、主谓一致、话题延续都可能跨越 N−1 个词的距离,一旦超出窗口就如同不存在。例如开头提到的那本书,等到几十个词后才出现「它」,二元语法完全接不上。

阶数怎么选:这是一次偏差-方差权衡。N 小,看不见搭配,语言能力弱;N 大,参数按 |V| 的 N−1 次方爆炸,而且大多数 N 元组在语料中一次都没出现,稀疏严重到无法估计。实践中 bi-gram、tri-gram 是常见折中,更长的上下文要靠神经模型或回退、缓存等工程手段补。原文说 n 元语法更高效、更准确,这个准确指的是估计可靠(方差小),不是对真实语言的拟合更真。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于前一个单词。这意味着,当前单词仅依赖于序列中最近的单词,而不依赖于该序列中的任何其他单词。马尔可夫模型使用这个假设,只须稍微回顾一下过去,就能预测未来单元的概率。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于…」为中心展开,本卡的核心判断「n 元语法(n-gram)用一条近似取代完整历史:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于前一个单词。这意味着,当前单词仅依赖于序列中最近的单词,而不依赖于该序列中的任何其他单词。马尔可夫模型使用这个假设,只须稍微回顾一下过去,就能预测未来单元的概率。