← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.c · 生成模型:DeepSeek-V4.1-Flash

用语言当模块之间的中介

理解等级:中级

三类零训练框架的共同点:先把图像翻译成语言,再交给语言模型推理,从而绕开跨模态参数训练。

  • 视觉线索:用开放词汇检测、区域标注、整图描述三路信息拼成线索,让大模型写候选段落,再挑最佳段落。
  • 苏格拉底模式:把问题解析成检索实体,调用视觉模型找关键帧、识别物体,再由语言模型汇总成“世界状态历史”。
  • PICa:把图像转成描述或标签列表,连同少量示例一起塞进提示,让 GPT-3 直接做视觉问答。

差异 输出粒度不同:PICa 给单词或短语,视觉线索给长段落。数据依赖也不同:PICa 要借用训练集样本作上下文示例,视觉线索完全不需要训练数据。

共同代价 误差沿流水线累积,前端标注一错,后面越写越离谱;模块越多,提示结构与串联顺序越难调。这条路线买的是低成本与可解释,卖的是精度上限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「与其他多模态方法(如对所有模态的单一模型进行联合训练)不同的是,苏格…」为中心展开,本卡的核心判断「三类零训练框架的共同点:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:与其他多模态方法(如对所有模态的单一模型进行联合训练)不同的是,苏格拉底模式使用语言作为模块之间交换信息的中介表征。