知识卡片
马尔可夫假设与 n 元语法
n 元语法(n-gram)用一条近似取代完整历史:
P(wn | w1 … wn−1) ≈ P(wn | wn−N+1 … wn−1)
N 是阶数。N=2 为二元语法(bi-gram),只看前一个词;N=3 为三元语法,回看两个词;一般地回看 N−1 个词。背后的假设是马尔可夫假设:下一个词只通过最近的过去与历史相连,更早的信息被一刀切断。
收益:需要估计的条件组合从 |V| 的 L−1 次方降到 |V| 的 N−1 次方,每个组合在语料里都能数到较多次数,估计方差小、计算快。
代价:偏差。假设本身不成立——代词指代、主谓一致、话题延续都可能跨越 N−1 个词的距离,一旦超出窗口就如同不存在。例如开头提到的那本书,等到几十个词后才出现「它」,二元语法完全接不上。
阶数怎么选:这是一次偏差-方差权衡。N 小,看不见搭配,语言能力弱;N 大,参数按 |V| 的 N−1 次方爆炸,而且大多数 N 元组在语料中一次都没出现,稀疏严重到无法估计。实践中 bi-gram、tri-gram 是常见折中,更长的上下文要靠神经模型或回退、缓存等工程手段补。原文说 n 元语法更高效、更准确,这个准确指的是估计可靠(方差小),不是对真实语言的拟合更真。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于前一个单词。这意味着,当前单词仅依赖于序列中最近的单词,而不依赖于该序列中的任何其他单词。马尔可夫模型使用这个假设,只须稍微回顾一下过去,就能预测未来单元的概率。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于…」为中心展开,本卡的核心判断「n 元语法(n-gram)用一条近似取代完整历史:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:马尔可夫假设是n元语法模型的关键概念。它指出,一个单词的概率仅取决于前一个单词。这意味着,当前单词仅依赖于序列中最近的单词,而不依赖于该序列中的任何其他单词。马尔可夫模型使用这个假设,只须稍微回顾一下过去,就能预测未来单元的概率。