← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9546.c · 生成模型:DeepSeek-V4.1-Flash

嵌入层把词索引映射为稠密向量

理解等级:初级

嵌入层是一张可学习的查找表:行数等于词汇表大小,列数等于嵌入维度,每一行就是一个词对应的稠密向量。输入一批索引序列,输出形状为 [batch_size, seq_length, embed_size] 的浮点张量,原来离散的整数被换成了连续空间中的坐标。PyTorch 中用 nn.Embedding 即可实现,前向过程等价于按索引取行。

这张表是训练出来的,不是人工指定的。书中的示例把嵌入输出与随机目标向量算均方误差,反向传播更新嵌入矩阵,损失随迭代下降,说明”词义”来自优化过程:经常出现在相似上下文中的词,其向量会被推向相近的位置,于是向量之间的距离可以承载语义关系。这也解释了为什么嵌入维度是一个超参数——维度越高能编码的区分度越细,参数与计算量也越大。

嵌入层是 [[分词器把句子切成索引序列]] 的直接下游,也是 [[正弦位置编码给词注入顺序感]] 的相加对象:位置编码必须与嵌入同维,才能逐元素相加而不改变形状。示例中每个词被表示为 8 维向量,正是这一维度约定的具体取值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer模型基础 · 查看原书依据

      嵌入层是将分词后的词汇索引转换为模型可用的稠密向量表示的关键部分。通过PyTorch的nn.Embedding模块,可以将离散的词汇索引映射到低维连续空间,每个词语的嵌入向量表示其在语义空间中的位置。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0002.xhtml) - 结论依据:原文指出嵌入层"将离散的词汇索引映射到低维连续空间",并说明示例中嵌入输出为每个词一个 8 维向量、训练损失随反向传播更新而下降。 - 原始内容:嵌入层是将分词后的词汇索引转换为模型可用的稠密向量表示的关键部分。通过PyTorch的nn.Embedding模块,可以将离散的词汇索引映射到低维连续空间,每个词语的嵌入向量表示其在语义空间中的位置。