知识卡片
嵌入、潜空间与表征三者关系
三个词常被替换使用,但指向不同层次,可以用一条链路和一张表理清。
| 概念 | 是什么 | 关键约束 |
|---|---|---|
| 表征 | 输入的任何编码形式 | 保留原数据的基本特征,便于后续处理 |
| 嵌入 | 一种表征,通常是低维稠密向量 | 必须保结构:相似输入映射到邻近向量 |
| 潜空间 | 嵌入向量所在的空间 | 通常是中间层或瓶颈层产出的压缩特征空间 |
链路是:原始输入 →(编码)→ 表征 →(若保持相似性)→ 嵌入 →(落在哪个空间)→ 潜空间。潜空间不一定由嵌入定义:自编码器的瓶颈层把图像压到低维再重建,这个中间空间就是潜空间;重建损失逼它把同类样本聚在一起,于是顺带得到了可用的嵌入。
边界:潜空间的“相似即邻近”只是常见结果而非定义要求;表征范围最宽,独热向量也算,但它不是嵌入。用途:这套区分让“我们说的到底是编码、向量还是空间”不再含糊,也解释了为什么第2章对比学习要“学一个嵌入空间”、第3章小样本能直接在嵌入上做最近邻。
结构图:
flowchart LR
A["原始输入 x"] --> B["表征:一种编码"]
B --> C["嵌入:保结构的低维向量"]
C --> D["潜空间:向量所在空间"]
D --> E["聚类/可视化/下游任务"]
A --> F["自编码器瓶颈层"]
F --> D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 嵌入、潜空间和表征 · 查看原书依据
在潜空间中,相似的输入会映射到邻近的位置,但这并非硬性要求。更宽泛地说,我们可以将潜空间视为包含特征的任意特征空间,这些特征通常是原始输入特征的压缩版本。
参考来源
- 位置:《大模型技术30讲》第1讲 嵌入、潜空间和表征(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0005.xhtml)
- 结论依据:第1章 1.2 潜空间与 1.3 表征:三概念的同异与包含关系
- 原始内容:在潜空间中,相似的输入会映射到邻近的位置,但这并非硬性要求。更宽泛地说,我们可以将潜空间视为包含特征的任意特征空间,这些特征通常是原始输入特征的压缩版本。