知识卡片
词向量只反映它读过的语料
在人造的小语料上训练出来的向量会把 bed 和 cat 判为高度相似——它们并不真的相似,只是在这批句子里总占据相同的位置(冠词之后、动词之前)。这说明词向量刻画的是语料的共现结构,不是世界知识;语料有偏,向量就继承这个偏差。因此“最近邻看起来合理”只能证明模型学到了训练数据的规律,不能证明它理解词义。要得到可用的向量,需要百万级以上的真实文本,并检查语料本身的代表性;同义词检索这类应用还应结合下游任务验证效果,而不是只看相似度分数。词表规模也随语料增长,稀有词往往只有很少的上下文。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
显然,bed 和 cat 并没有真正的相似之处,但在训练语句中,它们看起来很相似,这就是模型所捕获的内容。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「显然,bed 和 cat 并没有真正的相似之处,但在训练语句中,它们看起来很相似……」
- 原始内容:显然,bed 和 cat 并没有真正的相似之处,但在训练语句中,它们看起来很相似,这就是模型所捕获的内容。