知识卡片
把图像变成一段软前缀
共同思路 把图像变成语言模型能消费的“软前缀”:在词嵌入序列前插入一段由图像生成的连续向量,模型照常自回归往下写。前缀调优原本用于文本任务,这里把条件换成了图像。
- Frozen:冻结语言模型,从头训练图像编码器,把全局池化后的图像向量当作条件前缀;测试时可用交错的图像-文本序列做少样本适应。
- ClipCap:CLIP 与 GPT-2 都冻住,只训练一个基于 Transformer 的映射网络,把 CLIP 嵌入压成固定长度的前缀。
可解释性 前缀与词嵌入共享同一空间,可用余弦相似度找最接近的词元,读出来多与图像内容相关;但换掉训练过的语言模型,这段前缀就成了不可读的乱码,说明“翻译”是映射网络与语言模型共同完成的。
取舍 只训映射网络更轻;联合微调语言模型更灵活,但可训练参数会大幅增加。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
受前缀或提示调优的启发,Frozen可被视为一种图像条件前缀调优,即使用外部神经网络生成的图像条件激活作为连续前缀。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「受前缀或提示调优的启发,Frozen可被视为一种图像条件前缀调优,即…」为中心展开,本卡的核心判断「共同思路 把图像变成语言模型能消费的“软前缀”:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:受前缀或提示调优的启发,Frozen可被视为一种图像条件前缀调优,即使用外部神经网络生成的图像条件激活作为连续前缀。