知识卡片

普通读书笔记卡 · 9694.n · 生成模型:DeepSeek-V4.1-Flash

用 GPT-4 造视觉指令数据

理解等级:中级

数据怎么来 自然产生的多模态对话极少,于是用 GPT-4 当数据生成器:只喂它图像的文本线索(CC3M 的描述、检测器给出的边界框与物体位置),不给像素,让它按描述、框、对话三类模板造出多轮问答。

偏差 GPT-4 看不到图,精确空间与属性问题会出错。这套数据适合教对话格式与常识推理,不适合教细粒度感知;框的坐标是空间信息的唯一来源,所以检测质量直接决定数据上限。

两阶段训练 1. 特征对齐:把 59.5 万条图文对改写成单轮对话,冻结视觉编码器与大语言模型,只学一个线性映射,把图像特征翻译成词嵌入。 2. 端到端微调:解冻映射层与大语言模型,视觉编码器仍冻结,用多模态指令数据训练。

要点 第一阶段解决“接得上”,第二阶段解决“听得懂”;线性层够用,是因为 CLIP 空间本身已与语言语义对齐。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 视觉语言模型 · 查看原书依据

      首先,研究人员可以创建一个配对模态数据集,如图像描述,为聊天机器人的训练提供基础。其次,他们可以借助GPT-4作为智能数据增强器的强大功能来模拟对话。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「首先,研究人员可以创建一个配对模态数据集,如图像描述,为聊天机器人的…」为中心展开,本卡的核心判断「数据怎么来 自然产生的多模态对话极少,于是用 GPT-4 当数据生成器:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:首先,研究人员可以创建一个配对模态数据集,如图像描述,为聊天机器人的训练提供基础。其次,他们可以借助GPT-4作为智能数据增强器的强大功能来模拟对话。