知识卡片
Q-Former 当跨模态瓶颈
要解决什么 想用现成的单模态模型,又不愿在预训练时更新它们;但全冻结会让跨模态对齐更难。BLIP-2 的办法是在两者之间放一个小模块。
两阶段 1. 视觉-语言表征学习:Q-Former 用一组可学习查询从冻结图像编码器抽取特征,通过图文对比、图文匹配、基于图像的文本生成等目标,让查询学会只保留与文本相关的信息;此阶段借助小语言模型加速。 2. 视觉到语言生成学习:把 Q-Former 输出接到冻结的大语言模型上,训练它把视觉词元翻译成大模型能理解的前缀,从而按指令生成文本。
收益 可训练参数比同类少约 98%,零样本 VQAv2 反而高于更大的 Flamingo 变体。查询数量固定,等于强制模型先筛选再上报。
启发 对齐不必发生在两个大模型之间,可以外包给一个小的中间模块;换语言模型或换视觉编码器时,只需重训这个瓶颈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
Q-Former是一种简单的Transformer,它可以从冻结的图像编码器中提取视觉信息,并充当图像编码器和冻结的大语言模型之间的瓶颈。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「Q-Former是一种简单的Transformer,它可以从冻结的图…」为中心展开,本卡的核心判断「要解决什么 想用现成的单模态模型,又不愿在预训练时更新它们;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Q-Former是一种简单的Transformer,它可以从冻结的图像编码器中提取视觉信息,并充当图像编码器和冻结的大语言模型之间的瓶颈。