原书出处
大语言模型-基础与前沿 (熊涛)
11 第11章 视觉语言模型
。CLIP旨在为图像和文本提示提供一个共享的表征。它的视觉和文本表征具有良好的相关性,这节省了训练时间并减少了数据需求。
这一方法通过对CLIP嵌入应用基于Transformer的映射网络,从而为每个描述生成一个前缀。这一前缀是一个固定大小的嵌入序列,并馈送到语言模型中
,该语言模型会随着映射网络的训练而进行微调。图11-4展示了该模型的示意图。在图11-4中,可以在CLIP和GPT-2模
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d