← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9795.h · 生成模型:DeepSeek-V4.1-Flash

组合爆炸让语义难以量化

理解等级:高级

汉语常用词不到一万个,词按语法规则可以组成任意长度的句子,排列组合下来句子数量几乎无穷,剔掉不合语法的仍远超任何语料的规模。这意味着语义空间不是一个能被“大数据”铺满的有限集合,任何语料都只是其中极小的采样,靠统计共现去覆盖全部用法在原理上就吃紧。这也是深度学习在语音、图像上表征得漂亮、在语义上逊色的原因之一:语音与图像的输入是连续信号、局部平滑,语言是离散符号的组合,长尾近乎无穷。要注意分寸:这不否定深度学习的价值,只是说明“更多数据加更大模型”不会自动解决语义表示问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第8章 理解语言有多难(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00015.html) - 结论依据:原文这一段直接给出本卡的核心判断:「拿汉语来说,常用词不到1万个,这些词可以按照语法规则组成句子,而且句子长度不固定……」 - 原始内容:拿汉语来说,常用词不到1万个,这些词可以按照语法规则组成句子,而且句子长度不固定。学过排列组合的人都可以知道,这将会产生几乎无穷多个句子