原书出处
大语言模型-基础与前沿 (熊涛)
11 第11章 视觉语言模型
数据集,或可以识别输入文本中的目标区域建议的对象检测模型。与之不同的是,ITM涉及预测给定描述是否与其对应的图像相匹配。
在预训练过程中,多模态模型通常会将MLM和ITM目标组合起来。例如,Visual-BERT利用类似BERT的架构,通过预训练的对象检测模型Faster-RCNN来检测对象。
同时,FLAVA使用Transformer和各种预训练目标,包括MLM、ITM、掩蔽图像建模(Masked-Image
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d