← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.b · 生成模型:DeepSeek-V4.1-Flash

不改权重,只改解码

理解等级:中级

做法 MAGIC 不动任何权重,在解码的每一步用图像-文本匹配模型(CLIP)给候选词元打分,把“这句话是否像在描述这张图”作为额外信号,与语言模型自身的置信度、重复惩罚合成一个分数再选词。视觉控制强度由一个系数控制,系数取 0 就退化为普通的对比搜索。

为什么有效 语言模型只保证句子通顺,不知道图里有什么;匹配模型只判断整体是否相配,不会写句子。把后者当打分器插进前者的逐词决策,等于在解码时做了一次即时重排,不需要梯度更新,所以速度快,也易插拔。

边界 这是重排而非理解:如果候选词元里根本没有描述图中物体的词,打分器也无从选出。因此它零样本表现亮眼,但与有监督微调仍有明显差距。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「在生成文本时,MAGIC会使用CLIP诱导的得分(称为“魔术得分”)…」为中心展开,本卡的核心判断「做法 MAGIC 不动任何权重,在解码的每一步用图像-文本匹配模型(CLIP)给」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在生成文本时,MAGIC会使用CLIP诱导的得分(称为“魔术得分”)来影响语言模型,从而生成与之前生成的上下文一致的语义相关文本。