知识卡片
用语言当模块之间的中介
三类零训练框架的共同点:先把图像翻译成语言,再交给语言模型推理,从而绕开跨模态参数训练。
- 视觉线索:用开放词汇检测、区域标注、整图描述三路信息拼成线索,让大模型写候选段落,再挑最佳段落。
- 苏格拉底模式:把问题解析成检索实体,调用视觉模型找关键帧、识别物体,再由语言模型汇总成“世界状态历史”。
- PICa:把图像转成描述或标签列表,连同少量示例一起塞进提示,让 GPT-3 直接做视觉问答。
差异 输出粒度不同:PICa 给单词或短语,视觉线索给长段落。数据依赖也不同:PICa 要借用训练集样本作上下文示例,视觉线索完全不需要训练数据。
共同代价 误差沿流水线累积,前端标注一错,后面越写越离谱;模块越多,提示结构与串联顺序越难调。这条路线买的是低成本与可解释,卖的是精度上限。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
与其他多模态方法(如对所有模态的单一模型进行联合训练)不同的是,苏格拉底模式使用语言作为模块之间交换信息的中介表征。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「与其他多模态方法(如对所有模态的单一模型进行联合训练)不同的是,苏格…」为中心展开,本卡的核心判断「三类零训练框架的共同点:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:与其他多模态方法(如对所有模态的单一模型进行联合训练)不同的是,苏格拉底模式使用语言作为模块之间交换信息的中介表征。