知识卡片
上下文相似则向量相近
词向量把每个词压成一个低维实数向量,目标是让用法相似的词靠得近。训练任务并不是“理解词义”,而是拿一个词去预测它附近的词(skip-gram),或者拿附近的词预测它(CBOW);为了在这些任务上少犯错,模型只能让经常出现在相似上下文中的词拥有相似的内部表示,这个内部表示就是词向量。由此还出现向量算术:king 减 man 加 woman 接近 queen。背后的假设是分布式假设——词义由它常出现的上下文决定,因此换一套语料,学到的“相似”也会随之改变。相似度通常用余弦相似度衡量,只看方向不看长度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词(具有相似的邻近单词)应具有相似的内部状态,即具有相似的词向量。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词……」
- 原始内容:实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词(具有相似的邻近单词)应具有相似的内部状态,即具有相似的词向量。