← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9779.h · 生成模型:DeepSeek-V4.1-Flash

词向量就是一张查找表

理解等级:中级

实现上,词向量就是嵌入层的参数矩阵,每行对应一个词。前向传播时按词 id 取出一行,反向传播时只把梯度写回被取到的那一行,其余行保持为零,所以“学习词向量”实际上是在用梯度下降修改这张查询表。训练完成后,可以按余弦相似度排序找出最近邻词,也可以把所有向量做 PCA 投到二维,看同类词是否成团。工程上这张表和词表映射一起单独保存,推理时直接查表,不必再跑整个网络。局限是它只能表示训练时出现过的词,新词没有对应行;每次只能嵌入一个 id 的简单实现也不便于处理序列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      然后,将词向量传递到输出数量与词汇表中单词的数量相同的线性层。和以前一样,我们使用 softmax 将这些输出转换为附近出现的单词的概率。当使用梯度下降训练模型时,我们将更新查询表中的向量。完成训练后,该查询表将为我们提供词向量。

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「然后,将词向量传递到输出数量与词汇表中单词的数量相同的线性层……」 - 原始内容:然后,将词向量传递到输出数量与词汇表中单词的数量相同的线性层。和以前一样,我们使用 softmax 将这些输出转换为附近出现的单词的概率。当使用梯度下降训练模型时,我们将更新查询表中的向量。完成训练后,该查询表将为我们提供词向量。