原书出处
大语言模型-基础与前沿 (熊涛)
11 第11章 视觉语言模型
练视觉模型的开发可以很容易地集成到BLIP-2中,这使得它成为创建智能多模态对话人工智能的关键。 11.4 图文联合训练
如果有足够多的对齐图像和描述数据,将视觉数据整合到语言模型中的一种直接技术是将图像视为常规文本元素,然后在文本和图像的组合表征序列上训练模型。为此,图像被分割成较小的部分,每个部分都被视为输入序列中的一个“词元”。
通常,掩蔽语言建模(Masked-Language Modeling,MLM)和图像-文本匹配(Image-Text M
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d