← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

11 第11章 视觉语言模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.851Z

过使用一个相对较小的多模态数据集,将预训练的单模态图像和文本模型转换为用于图像描述的多模态模型, 不需要任何额外的训练。

ASIF背后的核心思路是相似图像的描述也是相似的,所以可以通过创建一个相对表征(Moschella et al,2022)空间,通过一个小型的多模态对基础事实数据集进行基于相似性的搜索。

ASIF将图像和自由格式文本作为输入,生成一个表征图像和文本之间一致性的标量,从而执行开放词汇分类。这样就可以对描述的新

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d