知识卡片

结构图卡 · 9651.a · 生成模型:DeepSeek-V4.1-Flash

嵌入、潜空间与表征三者关系

理解等级:中级

三个词常被替换使用,但指向不同层次,可以用一条链路和一张表理清。

概念 是什么 关键约束
表征 输入的任何编码形式 保留原数据的基本特征,便于后续处理
嵌入 一种表征,通常是低维稠密向量 必须保结构:相似输入映射到邻近向量
潜空间 嵌入向量所在的空间 通常是中间层或瓶颈层产出的压缩特征空间

链路是:原始输入 →(编码)→ 表征 →(若保持相似性)→ 嵌入 →(落在哪个空间)→ 潜空间。潜空间不一定由嵌入定义:自编码器的瓶颈层把图像压到低维再重建,这个中间空间就是潜空间;重建损失逼它把同类样本聚在一起,于是顺带得到了可用的嵌入。

边界:潜空间的“相似即邻近”只是常见结果而非定义要求;表征范围最宽,独热向量也算,但它不是嵌入。用途:这套区分让“我们说的到底是编码、向量还是空间”不再含糊,也解释了为什么第2章对比学习要“学一个嵌入空间”、第3章小样本能直接在嵌入上做最近邻。

结构图:

flowchart LR
  A["原始输入 x"] --> B["表征:一种编码"]
  B --> C["嵌入:保结构的低维向量"]
  C --> D["潜空间:向量所在空间"]
  D --> E["聚类/可视化/下游任务"]
  A --> F["自编码器瓶颈层"]
  F --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 嵌入、潜空间和表征 · 查看原书依据

      在潜空间中,相似的输入会映射到邻近的位置,但这并非硬性要求。更宽泛地说,我们可以将潜空间视为包含特征的任意特征空间,这些特征通常是原始输入特征的压缩版本。

    参考来源

    - 位置:《大模型技术30讲》第1讲 嵌入、潜空间和表征(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0005.xhtml) - 结论依据:第1章 1.2 潜空间与 1.3 表征:三概念的同异与包含关系 - 原始内容:在潜空间中,相似的输入会映射到邻近的位置,但这并非硬性要求。更宽泛地说,我们可以将潜空间视为包含特征的任意特征空间,这些特征通常是原始输入特征的压缩版本。