← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.i · 生成模型:DeepSeek-V4.1-Flash

门控交叉注意力与交错输入

理解等级:高级

结构 Flamingo 冻结视觉编码器与语言模型,中间加两件东西:感知器重采样器把任意数量的时空视觉特征压成固定大小的视觉词元;与语言层交错插入的交叉注意力层,让文本在生成时按需读取这些词元。新插入的层带门控,训练初期可近似关闭,避免一上来就破坏预训练语言模型的行为。

输入形式 支持图像、视频与文本交错的长序列,因此少样本示例能直接写进上下文:给几段“图+问+答”,模型照着格式续写。

为什么少样本有效 交叉注意力只增加“看哪里”的通路,不改语言模型已有的知识与推理;示例提供任务格式,视觉词元提供当前图像内容,两者在同一次注意力里结合。这也是它用远少于微调的数据就能超过专用模型的原因。

边界 门控与重采样都是为“不破坏原模型”而设,代价是融合深度受插入层数限制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「不过,Flamingo模型与ClipCap模型的不同之处在于,它利用…」为中心展开,本卡的核心判断「结构 Flamingo 冻结视觉编码器与语言模型,中间加两件东西:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:不过,Flamingo模型与ClipCap模型的不同之处在于,它利用了一个门控交叉注意力密集层来融合图像信息,并纳入了更多的训练数据。