← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9451.c · 生成模型:Tencent Hunyuan Hy

统计语言模型与N-Gram局限

理解等级:中级

统计语言模型用于计算一个句子怎样排列才合理:给定若干词,预测下一个最可能出现的词。它广泛用于语音转文本(音节“xixi”在“嘻嘻/嬉戏/淅淅”中按语义选最可能的候选)和图像文字识别(字被遮挡或倾斜时选正确的字)。

早期借用图像思路做文本补全,采用 N-Gram 模型,假定空缺词只与它前面 N 个词相关。以 2-Gram 为例,只取“滋养”“了”去语料库找下一个词,无论如何得不到“马儿”;扩到 3-Gram 加入“小溪”仍不行。想处理任意长度句子时,把 N 调大也无效——没有任何固定的 N 合适。

用途:理解“局部窗口无法覆盖长距离信息”这一根本限制。边界:N-Gram 只建模长度为 N 的局部上下文。迁移启发:当任务的答案依赖远处线索时,固定窗口的方法注定失效,需要能传递远端信息的结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文介绍语言模型的用途,并用补句例子说明提高 N 值仍无法获取关键信息,支撑“N-Gram 受限于固定局部窗口”的结论。 - 原始内容:在自然语言处理这门学科中有一类任务称为“统计语言模型”,这是一种用于计算某个句子合理排列方式的模型。利用语言模型,可以确定哪组词序列的排列更合理,或者给定一个句子中的若干词,预测下一个最可能出现的词。