知识卡片
统计语言模型与N-Gram局限
统计语言模型用于计算一个句子怎样排列才合理:给定若干词,预测下一个最可能出现的词。它广泛用于语音转文本(音节“xixi”在“嘻嘻/嬉戏/淅淅”中按语义选最可能的候选)和图像文字识别(字被遮挡或倾斜时选正确的字)。
早期借用图像思路做文本补全,采用 N-Gram 模型,假定空缺词只与它前面 N 个词相关。以 2-Gram 为例,只取“滋养”“了”去语料库找下一个词,无论如何得不到“马儿”;扩到 3-Gram 加入“小溪”仍不行。想处理任意长度句子时,把 N 调大也无效——没有任何固定的 N 合适。
用途:理解“局部窗口无法覆盖长距离信息”这一根本限制。边界:N-Gram 只建模长度为 N 的局部上下文。迁移启发:当任务的答案依赖远处线索时,固定窗口的方法注定失效,需要能传递远端信息的结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.2.1 CNN为什么不能处理文本 · 查看原书依据
在自然语言处理这门学科中有一类任务称为“统计语言模型”,这是一种用于计算某个句子合理排列方式的模型。利用语言模型,可以确定哪组词序列的排列更合理,或者给定一个句子中的若干词,预测下一个最可能出现的词。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文介绍语言模型的用途,并用补句例子说明提高 N 值仍无法获取关键信息,支撑“N-Gram 受限于固定局部窗口”的结论。
- 原始内容:在自然语言处理这门学科中有一类任务称为“统计语言模型”,这是一种用于计算某个句子合理排列方式的模型。利用语言模型,可以确定哪组词序列的排列更合理,或者给定一个句子中的若干词,预测下一个最可能出现的词。