知识卡片
检索增强为什么难做
动机 把知识全塞进参数不划算:罕见物体、同一场景的多种描述都难以用权重高效表示;新数据进来又要微调。检索把知识外置,参数量可以大幅下降。
三个工程难点 1. 检索必须发生在多模态预训练早期,否则自回归语言模型会学会忽略编码不好的外部知识。 2. 数据集中同一图像常有多条描述、不同图像也可能共享描述,最近邻检索容易让模型学会复制粘贴,而不是真的看图。 3. 大规模交错图文数据难收集,而它正是少样本能力的关键。
三种检索粒度 - EXTRA:检索相似图像的描述,作为文本上下文喂给编码器-解码器。 - Re-ViLM:用 CLIP 嵌入检索相似图文对,按 RETRO 方式在预训练初期接入,并过滤同描述样本以断掉抄袭捷径。 - SMALL-CAP:由图像检索文本,可复用任意形式的文本库,可训练参数仅 7M,却接近全参数模型的表现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
首先,视觉语言模型需要在多模态预训练开始时无缝检索和编码外部知识,以防止预训练的自回归语言模型忽略编码不良的外部知识
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「首先,视觉语言模型需要在多模态预训练开始时无缝检索和编码外部知识,以…」为中心展开,本卡的核心判断「动机 把知识全塞进参数不划算:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:首先,视觉语言模型需要在多模态预训练开始时无缝检索和编码外部知识,以防止预训练的自回归语言模型忽略编码不良的外部知识