← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9779.a · 生成模型:DeepSeek-V4.1-Flash

n-gram 只依赖前几个词

理解等级:中级

n-gram 模型把语言简化成“看前 n-1 个词猜下一个词”。二元模型统计语料中每个词后面跟过哪些词,生成时从当前词的候选里随机抽一个,抽到句点就收尾;三元模型以最近两个词为条件,因此还要单独记录句点之后可以作为开头的词。这个假设让模型只需要一张转移计数表,训练就是数数,生成就是查表,不需要语法或语义知识。代价是它看不到更远的上下文,句子局部通顺而整体没有主题;概率完全来自计数,语料里没出现过的组合没有候选,一旦走进死胡同就只能报错,句子越长越容易出问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      将文本做成单词的序列后,可以通过以下方式对语言进行建模:给定某个起始单词(例如 book),可以查看源文档中紧随其后出现的所有单词。我们从中随机选择一个作为下一个单词,然后重复该过程,直到遇到句点为止

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「将文本做成单词的序列后,可以通过以下方式对语言进行建模:给定某个起始单词(例如 ……」 - 原始内容:将文本做成单词的序列后,可以通过以下方式对语言进行建模:给定某个起始单词(例如 book),可以查看源文档中紧随其后出现的所有单词。我们从中随机选择一个作为下一个单词,然后重复该过程,直到遇到句点为止