← 返回刚才阅读的位置

知识卡片

结构图卡 · 9694.k · 生成模型:DeepSeek-V4.1-Flash

图文联合训练的数据流

理解等级:中级

联合训练不再区分“图像模块”和“文本模块”,而是把两者拼成一条序列,用同一个 Transformer 处理。

流程 图像经检测器取区域或切成块,过视觉编码器得到视觉词元;文本分词得到文本词元;两段拼在一起送进编码器,由两个目标共同监督。

  • MLM:把描述里的某些词遮住,让模型借助图像把它们猜回来。这要求数据带边界框,或有能给出区域建议的检测器。
  • ITM:判断一段描述与这张图是否真的配对,用负样本逼模型区分“大致相关”和“确实匹配”。

两种注意力形态 SimVLM 用双向注意力处理图像前缀、用因果注意力生成正文;VLMO 则用模态专家混合,让不同模态走各自的专家、共享自注意力,同一套权重既能当融合编码器也能当双编码器。

结构图:

flowchart LR
    A[图文对] --> B[检测框或图像切块]
    B --> C[视觉编码器出视觉词元]
    A --> D[文本分词出文本词元]
    C --> E[拼接成统一序列]
    D --> E
    E --> F[Transformer 编码]
    F --> G[MLM 预测被遮词]
    F --> H[ITM 判定图文配对]
    G --> I[下游任务]
    H --> I
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,…」为中心展开,本卡的核心判断「联合训练不再区分“图像模块”和“文本模块”,而是把两者拼成一条序列,用同一个 Transformer 处理。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,Visual-BERT利用类似BERT的架构,通过预训练的对象检测模型Faster-RCNN来检测对象。