← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.f · 生成模型:DeepSeek-V4.1-Flash

把图像变成一段软前缀

理解等级:中级

共同思路 把图像变成语言模型能消费的“软前缀”:在词嵌入序列前插入一段由图像生成的连续向量,模型照常自回归往下写。前缀调优原本用于文本任务,这里把条件换成了图像。

  • Frozen:冻结语言模型,从头训练图像编码器,把全局池化后的图像向量当作条件前缀;测试时可用交错的图像-文本序列做少样本适应。
  • ClipCap:CLIP 与 GPT-2 都冻住,只训练一个基于 Transformer 的映射网络,把 CLIP 嵌入压成固定长度的前缀。

可解释性 前缀与词嵌入共享同一空间,可用余弦相似度找最接近的词元,读出来多与图像内容相关;但换掉训练过的语言模型,这段前缀就成了不可读的乱码,说明“翻译”是映射网络与语言模型共同完成的。

取舍 只训映射网络更轻;联合微调语言模型更灵活,但可训练参数会大幅增加。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「受前缀或提示调优的启发,Frozen可被视为一种图像条件前缀调优,即…」为中心展开,本卡的核心判断「共同思路 把图像变成语言模型能消费的“软前缀”:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:受前缀或提示调优的启发,Frozen可被视为一种图像条件前缀调优,即使用外部神经网络生成的图像条件激活作为连续前缀。