原书出处
大语言模型-基础与前沿 (熊涛)
11 第11章 视觉语言模型
模型参数方面非常有效。尽管取得了这一成功,但在将检索技术整合到用于图像到文本生成的视觉语言模型中之前,必须解决一些问题。
首先,视觉语言模型需要在多模态预训练开始时无缝检索和编码外部知识,以防止预训练的自回归语言模型忽略编码不良的外部知识
;其次,多模态数据集可能包含描述同一图像的多个描述(如来自不同注释者)和具有相同描述的多个图像,这使得标准最近邻检索容易
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d