知识卡片
阶数越高越通顺也越像原文
把二元换成三元,生成的句子明显更连贯,原因不是模型理解了语言,而是每一步的候选变少了,很多位置甚至只剩一个可选词。候选少意味着随机性低:输出更像人话,同时更容易逐字复现训练语料里的原句或长片段,看起来像“学会了写作”,实际是在拼接记忆。这暴露了 n-gram 的核心矛盾:提高阶数改善局部连贯,却牺牲多样性、泛化能力和数据覆盖——阶数越高,可用的转移越稀疏,没见过的前缀直接无解。缓解方向是扩大语料、做平滑或回退到低阶模型,而不是一味加大 n。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个选择。这意味着我们可能生成很多与原始数据一字不差的句子(或至少是长短语)。拥有更多数据会有所帮助
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个……」
- 原始内容:当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个选择。这意味着我们可能生成很多与原始数据一字不差的句子(或至少是长短语)。拥有更多数据会有所帮助