知识卡片

普通读书笔记卡 · 9694.e · 生成模型:DeepSeek-V4.1-Flash

锁住图像端,只训文本端

理解等级:高级

问题 微调要为每个新数据集反复训练;对比学习虽能零样本,却需要海量图文对,精度通常也偏低。

做法 LiT 冻住预训练图像编码器,只训练文本侧,用对比目标把文本拉到图像特征所在的空间。得到的文本编码器能与那个固定图像编码器配合,直接做零样本分类。

为什么能对上 图文对比训练把匹配的图文对拉近、把批内的不匹配对推远,反复之后两侧被压进同一个可比空间。既然图像侧已经是一个好的语义坐标系,就不必再动它,缺的只是一个会说这套坐标的文本编码器。

反直觉之处 一般认为多训一点更好,实验却显示始终锁定图像编码器效果更佳:解冻会让图像特征被文本监督拉偏,损害通用性。

收益 训练更快、显存更小,图像特征可预计算以支持更大批次,并把微调与对比学习之间的差距缩小了一半。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 视觉语言模型 · 查看原书依据

      为了使LiT有效发挥作用,图像编码器的“锁定”至关重要,这意味着它在训练过程中不应被更新。虽然这似乎有悖直觉,因为训练中的其他信息通常会提高性能,但实验结果表明,始终锁定图像编码器会产生更好的结果。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「为了使LiT有效发挥作用,图像编码器的“锁定”至关重要,这意味着它在…」为中心展开,本卡的核心判断「问题 微调要为每个新数据集反复训练;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了使LiT有效发挥作用,图像编码器的“锁定”至关重要,这意味着它在训练过程中不应被更新。虽然这似乎有悖直觉,因为训练中的其他信息通常会提高性能,但实验结果表明,始终锁定图像编码器会产生更好的结果。