知识卡片
组合爆炸让语义难以量化
汉语常用词不到一万个,词按语法规则可以组成任意长度的句子,排列组合下来句子数量几乎无穷,剔掉不合语法的仍远超任何语料的规模。这意味着语义空间不是一个能被“大数据”铺满的有限集合,任何语料都只是其中极小的采样,靠统计共现去覆盖全部用法在原理上就吃紧。这也是深度学习在语音、图像上表征得漂亮、在语义上逊色的原因之一:语音与图像的输入是连续信号、局部平滑,语言是离散符号的组合,长尾近乎无穷。要注意分寸:这不否定深度学习的价值,只是说明“更多数据加更大模型”不会自动解决语义表示问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 理解语言有多难 · 查看原书依据
拿汉语来说,常用词不到1万个,这些词可以按照语法规则组成句子,而且句子长度不固定。学过排列组合的人都可以知道,这将会产生几乎无穷多个句子
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第8章 理解语言有多难(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00015.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「拿汉语来说,常用词不到1万个,这些词可以按照语法规则组成句子,而且句子长度不固定……」
- 原始内容:拿汉语来说,常用词不到1万个,这些词可以按照语法规则组成句子,而且句子长度不固定。学过排列组合的人都可以知道,这将会产生几乎无穷多个句子