知识卡片

普通读书笔记卡 · 9694.j · 生成模型:DeepSeek-V4.1-Flash

Q-Former 当跨模态瓶颈

理解等级:高级

要解决什么 想用现成的单模态模型,又不愿在预训练时更新它们;但全冻结会让跨模态对齐更难。BLIP-2 的办法是在两者之间放一个小模块。

两阶段 1. 视觉-语言表征学习:Q-Former 用一组可学习查询从冻结图像编码器抽取特征,通过图文对比、图文匹配、基于图像的文本生成等目标,让查询学会只保留与文本相关的信息;此阶段借助小语言模型加速。 2. 视觉到语言生成学习:把 Q-Former 输出接到冻结的大语言模型上,训练它把视觉词元翻译成大模型能理解的前缀,从而按指令生成文本。

收益 可训练参数比同类少约 98%,零样本 VQAv2 反而高于更大的 Flamingo 变体。查询数量固定,等于强制模型先筛选再上报。

启发 对齐不必发生在两个大模型之间,可以外包给一个小的中间模块;换语言模型或换视觉编码器时,只需重训这个瓶颈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「Q-Former是一种简单的Transformer,它可以从冻结的图…」为中心展开,本卡的核心判断「要解决什么 想用现成的单模态模型,又不愿在预训练时更新它们;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Q-Former是一种简单的Transformer,它可以从冻结的图像编码器中提取视觉信息,并充当图像编码器和冻结的大语言模型之间的瓶颈。