原书出处
大语言模型-基础与前沿 (熊涛)
08 第8章 检索增强型语言模型
图像字幕数据,这限制了在微调或无图像文本推理过程中跨模态信息的融合,导致视觉知识密集型常识推理任务中的性能不能令人满意。
相比之下,Wang等提出的方法通过图像检索模块采用了灵活的文本-图像对齐机制,这种模块为每个词元提供相关图像作为视觉增强。
此外,他们还引入了视觉知识融合层,以实现对视觉增强上下文的联合注意力,包括文本词元和重新检索的图像。这导致了视觉增强语言
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d