知识卡片
把图像接进语言模型的三条路
三条路线的差别,主要在冻住谁、训练什么、要多少对齐数据。
| 路线 | 代表 | 训练对象 | 数据门槛 | 主要弱点 |
|---|---|---|---|---|
| 冻结双端+可训练映射 | Frozen、ClipCap、MiniGPT-4、LLaVA 第一阶段 | 只有映射层:线性层、Transformer 映射网络或少量查询 | 百万级图文对即可 | 接口容量有限,细粒度空间关系易丢 |
| 轻量适配 | LiT、Flamingo、BLIP-2 | 文本侧、交叉注意力、Q-Former 等小模块 | 中等,可复用预训练特征 | 需要精心设计接口,融合深度受插入位置限制 |
| 图文联合训练 | VisualBERT、SimVLM、VLMO | 整个多模态编码器 | 大量图文对,常需检测框或离散图像词元 | 算力最贵,多任务预训练还可能互相拖累 |
此外还有一条不训练的极端:只改解码或只改提示(MAGIC、视觉线索),成本最低,性能上限也最低。
路线选择本质是在数据、算力、细粒度理解三者之间取其二:数据少就走映射,算力少就走适配,要求模型真正理解空间与文字时,才值得付出联合训练的代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
如果有足够多的对齐图像和描述数据,将视觉数据整合到语言模型中的一种直接技术是将图像视为常规文本元素,然后在文本和图像的组合表征序列上训练模型。为此,图像被分割成较小的部分,每个部分都被视为输入序列中的一个“词元”。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「如果有足够多的对齐图像和描述数据,将视觉数据整合到语言模型中的一种直…」为中心展开,本卡的核心判断「三条路线的差别,主要在冻住谁、训练什么、要多少对齐数据。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:如果有足够多的对齐图像和描述数据,将视觉数据整合到语言模型中的一种直接技术是将图像视为常规文本元素,然后在文本和图像的组合表征序列上训练模型。为此,图像被分割成较小的部分,每个部分都被视为输入序列中的一个“词元”。