知识卡片
视觉增强:给词元配图
单模态语言模型没有视觉经验,遇到“天空是红的”这类常识错误时无法自查,这是幻觉的一种来源。
以往做法:视觉-语言模型靠图文对做监督预训练,视觉知识被压进参数,推理时无法按需取用;没有配图时,跨模态融合也起不了作用。
VALM 的思路:把图像也当成可检索的外部知识。图像检索模块为文本中的每个词元找相关图像,作为该位置的视觉增强;视觉知识融合层再对“文本词元 + 重新检索到的图像”做联合注意力,让视觉证据参与上下文表示。
效果:在 MEMORYCOLOR、RELATIVESIZE、OBJECTSHAPE 等需要颜色、尺寸、形状常识的数据集上明显提升,纯语言基准也不掉。
边界:词元级的图像相关性往往很弱,检索噪声大;图像检索的延迟与存储也高于文本。它更像“按需取证”从文本扩展到多模态,而不是成熟的通用方案。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像对齐机制,这种模块为每个词元提供相关图像作为视觉增强。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像…」为中心展开,本卡的核心判断「单模态语言模型没有视觉经验,遇到“天空是红的”这类常识错误时无法自查,这是幻觉的一种来源。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像对齐机制,这种模块为每个词元提供相关图像作为视觉增强。