← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.g · 生成模型:DeepSeek-V4.1-Flash

映射层的四种做法

理解等级:中级

视觉编码器输出一组 patch 向量或一个全局向量,语言模型要的是与词表同维的嵌入序列。两者在维度、语义粒度、序列长度上都不匹配,接口层要解决的就是这三件事。

设计 代表 输出 特点
线性投影 LLaVA 每个 patch 一个词元 参数最少,保留全部 patch,序列变长
Transformer 映射网络 ClipCap 固定长度前缀 可学习压缩,长度可控
重采样查询 Flamingo 的感知器重采样器 固定数量视觉词元 用少量查询从任意多输入中抽取,输出长度与输入无关
Q-Former BLIP-2 少量查询向量 两阶段训练,先学“哪些视觉信息与文本有关”,再接入大模型

共同权衡 输出词元越少,语言模型越省算力;压得越狠,小物体、文字、空间关系越容易丢。查询式设计的价值在于把压缩变成可学习的筛选,而不是无差别池化。

选择依据 图文对少、想快速验证,用线性层;需要固定长度且算力敏感,用重采样;还要兼顾检索与生成两种用法,才值得上 Q-Former。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「这一方法通过对CLIP嵌入应用基于Transformer的映射网络,…」为中心展开,本卡的核心判断「视觉编码器输出一组 patch 向量或一个全局向量,语言模型要的是与词表同维的嵌入序列。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这一方法通过对CLIP嵌入应用基于Transformer的映射网络,从而为每个描述生成一个前缀。这一前缀是一个固定大小的嵌入序列,并馈送到语言模型中