← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.l · 生成模型:DeepSeek-V4.1-Flash

一个视觉单位该有多大

理解等级:高级

联合训练的第一步,是决定“一个视觉单位”是什么。粒度直接决定对齐方式与成本。

  • 区域级:用 Faster-RCNN 等检测器框出物体,每个框的特征当一个词元。语义干净,但依赖检测器,开放场景容易漏。
  • 块级:把图切成固定 patch,经卷积或线性投影成词元,类似 ViT。覆盖完整、不依赖检测,但序列长、算力高。
  • 离散码:用 VQ-VAE 或 VQ-GAN 把图像量化成若干码字,真正变成词表里的词元。CM3 每幅图用 256 个词元,与文本共用同一套因果掩蔽目标;UNIFIED-IO 再用解码器把词元还原成图,于是检测、分割、合成都能写成序列到序列。

视频的额外难题 帧数增加带来收益递减,空间建模又会压过时间推理;SViTT 把视频词元当图顶点、注意力当边,做边稀疏(减少查询-键对)与节点稀疏(剪掉背景),并随时间片段加长同步提高稀疏度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「然后使用VQVAE-GAN对图像进行“分词”(Esser et al…」为中心展开,本卡的核心判断「联合训练的第一步,是决定“一个视觉单位”是什么。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:然后使用VQVAE-GAN对图像进行“分词”(Esser et al,2021),每幅图像生成256个词元。