知识卡片
图文联合训练的数据流
联合训练不再区分“图像模块”和“文本模块”,而是把两者拼成一条序列,用同一个 Transformer 处理。
流程 图像经检测器取区域或切成块,过视觉编码器得到视觉词元;文本分词得到文本词元;两段拼在一起送进编码器,由两个目标共同监督。
- MLM:把描述里的某些词遮住,让模型借助图像把它们猜回来。这要求数据带边界框,或有能给出区域建议的检测器。
- ITM:判断一段描述与这张图是否真的配对,用负样本逼模型区分“大致相关”和“确实匹配”。
两种注意力形态 SimVLM 用双向注意力处理图像前缀、用因果注意力生成正文;VLMO 则用模态专家混合,让不同模态走各自的专家、共享自注意力,同一套权重既能当融合编码器也能当双编码器。
结构图:
flowchart LR
A[图文对] --> B[检测框或图像切块]
B --> C[视觉编码器出视觉词元]
A --> D[文本分词出文本词元]
C --> E[拼接成统一序列]
D --> E
E --> F[Transformer 编码]
F --> G[MLM 预测被遮词]
F --> H[ITM 判定图文配对]
G --> I[下游任务]
H --> I
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,Visual-BERT利用类似BERT的架构,通过预训练的对象检测模型Faster-RCNN来检测对象。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,…」为中心展开,本卡的核心判断「联合训练不再区分“图像模块”和“文本模块”,而是把两者拼成一条序列,用同一个 Transformer 处理。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,Visual-BERT利用类似BERT的架构,通过预训练的对象检测模型Faster-RCNN来检测对象。