← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9691.m · 生成模型:DeepSeek-V4.1-Flash

视觉增强:给词元配图

理解等级:中级

单模态语言模型没有视觉经验,遇到“天空是红的”这类常识错误时无法自查,这是幻觉的一种来源。

以往做法:视觉-语言模型靠图文对做监督预训练,视觉知识被压进参数,推理时无法按需取用;没有配图时,跨模态融合也起不了作用。

VALM 的思路:把图像也当成可检索的外部知识。图像检索模块为文本中的每个词元找相关图像,作为该位置的视觉增强;视觉知识融合层再对“文本词元 + 重新检索到的图像”做联合注意力,让视觉证据参与上下文表示。

效果:在 MEMORYCOLOR、RELATIVESIZE、OBJECTSHAPE 等需要颜色、尺寸、形状常识的数据集上明显提升,纯语言基准也不掉。

边界:词元级的图像相关性往往很弱,检索噪声大;图像检索的延迟与存储也高于文本。它更像“按需取证”从文本扩展到多模态,而不是成熟的通用方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像…」为中心展开,本卡的核心判断「单模态语言模型没有视觉经验,遇到“天空是红的”这类常识错误时无法自查,这是幻觉的一种来源。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像对齐机制,这种模块为每个词元提供相关图像作为视觉增强。