← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9779.b · 生成模型:DeepSeek-V4.1-Flash

阶数越高越通顺也越像原文

理解等级:高级

把二元换成三元,生成的句子明显更连贯,原因不是模型理解了语言,而是每一步的候选变少了,很多位置甚至只剩一个可选词。候选少意味着随机性低:输出更像人话,同时更容易逐字复现训练语料里的原句或长片段,看起来像“学会了写作”,实际是在拼接记忆。这暴露了 n-gram 的核心矛盾:提高阶数改善局部连贯,却牺牲多样性、泛化能力和数据覆盖——阶数越高,可用的转移越稀疏,没见过的前缀直接无解。缓解方向是扩大语料、做平滑或回退到低阶模型,而不是一味加大 n。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个选择。这意味着我们可能生成很多与原始数据一字不差的句子(或至少是长短语)。拥有更多数据会有所帮助

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个……」 - 原始内容:当然,它们看起来更好,因为在生成过程的每一步中选择较少,在很多步骤中甚至只有一个选择。这意味着我们可能生成很多与原始数据一字不差的句子(或至少是长短语)。拥有更多数据会有所帮助