知识卡片
映射层的四种做法
视觉编码器输出一组 patch 向量或一个全局向量,语言模型要的是与词表同维的嵌入序列。两者在维度、语义粒度、序列长度上都不匹配,接口层要解决的就是这三件事。
| 设计 | 代表 | 输出 | 特点 |
|---|---|---|---|
| 线性投影 | LLaVA | 每个 patch 一个词元 | 参数最少,保留全部 patch,序列变长 |
| Transformer 映射网络 | ClipCap | 固定长度前缀 | 可学习压缩,长度可控 |
| 重采样查询 | Flamingo 的感知器重采样器 | 固定数量视觉词元 | 用少量查询从任意多输入中抽取,输出长度与输入无关 |
| Q-Former | BLIP-2 | 少量查询向量 | 两阶段训练,先学“哪些视觉信息与文本有关”,再接入大模型 |
共同权衡 输出词元越少,语言模型越省算力;压得越狠,小物体、文字、空间关系越容易丢。查询式设计的价值在于把压缩变成可学习的筛选,而不是无差别池化。
选择依据 图文对少、想快速验证,用线性层;需要固定长度且算力敏感,用重采样;还要兼顾检索与生成两种用法,才值得上 Q-Former。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
这一方法通过对CLIP嵌入应用基于Transformer的映射网络,从而为每个描述生成一个前缀。这一前缀是一个固定大小的嵌入序列,并馈送到语言模型中
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「这一方法通过对CLIP嵌入应用基于Transformer的映射网络,…」为中心展开,本卡的核心判断「视觉编码器输出一组 patch 向量或一个全局向量,语言模型要的是与词表同维的嵌入序列。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:这一方法通过对CLIP嵌入应用基于Transformer的映射网络,从而为每个描述生成一个前缀。这一前缀是一个固定大小的嵌入序列,并馈送到语言模型中