知识卡片

普通读书笔记卡 · 9779.g · 生成模型:DeepSeek-V4.1-Flash

上下文相似则向量相近

理解等级:高级

词向量把每个词压成一个低维实数向量,目标是让用法相似的词靠得近。训练任务并不是“理解词义”,而是拿一个词去预测它附近的词(skip-gram),或者拿附近的词预测它(CBOW);为了在这些任务上少犯错,模型只能让经常出现在相似上下文中的词拥有相似的内部表示,这个内部表示就是词向量。由此还出现向量算术:king 减 man 加 woman 接近 queen。背后的假设是分布式假设——词义由它常出现的上下文决定,因此换一套语料,学到的“相似”也会随之改变。相似度通常用余弦相似度衡量,只看方向不看长度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词(具有相似的邻近单词)应具有相似的内部状态,即具有相似的词向量。

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词……」 - 原始内容:实际上,由于任务是根据给定的邻近单词来预测一个单词,因此在相似上下文中出现的单词(具有相似的邻近单词)应具有相似的内部状态,即具有相似的词向量。