知识卡片

普通读书笔记卡 · 9651 · 生成模型:DeepSeek-V4.1-Flash

嵌入是保结构的映射

理解等级:中级

是什么:嵌入是把输入映射到低维连续稠密向量的编码方式。最典型的起点是独热编码:红、绿、蓝三类分别是 [1,0,0]、[0,1,0]、[0,0,1],维度等于类别数、彼此正交,既稀疏又不携带“红色接近橙色”这类语义。乘上一个可学习的权重矩阵后,独热向量变成稠密嵌入,类别间的相似性才被表达出来。

数学上,嵌入是从输入空间 X 到嵌入空间 Y 的保结构单射:不同输入不会撞到同一点,相似输入落在邻近位置。这个“保结构”就是它与普通降维的分水岭。注意嵌入的维度可高于也可低于原输入,压到二维只是为了可视化和聚类,并不是越矮越好。

用途:检索与去重、聚类与可视化、推荐召回,以及作为下游模型的输入特征;CNN 的倒数第二层、Transformer 的隐状态都可以当作嵌入。

边界与代价:嵌入的好坏完全取决于训练目标,目标任务一换,同一批数据的理想几何也会变;嵌入层本身是参数,数据少时容易学出无意义的距离结构;独热向量是表征但不是嵌入——它不保语义距离。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第1讲 嵌入、潜空间和表征(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0005.xhtml) - 结论依据:第1章 1.1 嵌入:独热编码、权重矩阵映射、保结构单射、维度可高可低 - 原始内容:嵌入的一个基本特性是在编码时会关注输入间的距离或输入相似性。这意味着嵌入会考虑输入的语义,让相似的数据在嵌入空间中距离更近。