知识卡片
链规则把整句拆成条件概率
长度为 L 的序列,如果词表有 |V| 个词元,就有 |V| 的 L 次方种可能,逐条存概率表不可能。概率链规则(chain rule)做恒等改写,把联合概率写成条件概率的连乘:
P(w1, w2, …, wn) = P(w1) × P(w2 | w1) × P(w3 | w1 w2) × … × P(wn | w1 … wn−1)
每一项读作「已经说完前面这些词之后,下一个词是它的概率」。例如 my dog just ate a chicken bone 的整句概率,就是 P(my) 乘 P(dog | my),再乘 P(just | my dog),一直乘到 P(bone | my dog just ate a chicken)。这样参数从指数级降为多个「下一步预测」,每一项都可以在语料里数频次来估。
关键限制:链规则本身不降低难度。越靠后的项,条件部分越长,例如 P(bone | my dog just ate a chicken) 要求语料中出现过完全相同的前缀,稍有变化(换成 his dog)就数不到。所以恒等变形只是把问题摆到了明面上:真正的建模工作是对条件部分做近似。n 元语法截断历史,神经语言模型用网络拟合条件分布而不依赖精确计数——两条路线的分岔点就在这里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
概率链规则(Chain Rule of Probability)是概率论中的一个基本规则,它允许我们将一系列事件的联合概率按照它们的条件概率的乘积来计算。应用于自然语言处理的情况,概率链规则指出,一个句子的联合概率可以通过每个单词的概率乘以其前面单词的概率来计算。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「概率链规则(Chain Rule of Probability)是概…」为中心展开,本卡的核心判断「长度为 L 的序列,如果词表有 |V| 个词元,就有 |V| 的 L 次方种可能,逐条存概率表不可能。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:概率链规则(Chain Rule of Probability)是概率论中的一个基本规则,它允许我们将一系列事件的联合概率按照它们的条件概率的乘积来计算。应用于自然语言处理的情况,概率链规则指出,一个句子的联合概率可以通过每个单词的概率乘以其前面单词的概率来计算。