知识卡片

普通读书笔记卡 · 9779.i · 生成模型:DeepSeek-V4.1-Flash

词向量只反映它读过的语料

理解等级:高级

在人造的小语料上训练出来的向量会把 bed 和 cat 判为高度相似——它们并不真的相似,只是在这批句子里总占据相同的位置(冠词之后、动词之前)。这说明词向量刻画的是语料的共现结构,不是世界知识;语料有偏,向量就继承这个偏差。因此“最近邻看起来合理”只能证明模型学到了训练数据的规律,不能证明它理解词义。要得到可用的向量,需要百万级以上的真实文本,并检查语料本身的代表性;同义词检索这类应用还应结合下游任务验证效果,而不是只看相似度分数。词表规模也随语料增长,稀有词往往只有很少的上下文。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「显然,bed 和 cat 并没有真正的相似之处,但在训练语句中,它们看起来很相似……」 - 原始内容:显然,bed 和 cat 并没有真正的相似之处,但在训练语句中,它们看起来很相似,这就是模型所捕获的内容。