知识卡片
只训一个投影层够不够
架构极简 MiniGPT-4 用冻结的 BLIP-2 视觉编码器加冻结的 Vicuna,中间只有一个投影层,在约 500 万对图文数据上训练,4 张 A100 约 10 小时即可完成。
关键教训不在架构,在数据 只用公开数据集里的原始图文对做对齐,模型会输出重复句、断句和不连贯文本:图文对只保证“图与文相关”,并不保证“这段话像样”。第二阶段换用人工筛选的高质量、高对齐数据微调后,可用性才明显提升。
可迁移的启发 接口层参数量可以极小,真正的瓶颈是数据质量与对齐程度;“先粗对齐、再用好数据校准”这个两段式在后续工作中反复出现。判断一个轻量方案是否可行,先看数据能不能撑住接口,而不是先看接口有多复杂。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
Zhu等还发现,仅使用来自公共数据集的原始图像-文本对将视觉特征与大语言模型对齐,并不足以开发高性能的MiniGPT-4模型。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「Zhu等还发现,仅使用来自公共数据集的原始图像-文本对将视觉特征与大…」为中心展开,本卡的核心判断「架构极简 MiniGPT-4 用冻结的 BLIP-2 视觉编码器加冻结的 Vic」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Zhu等还发现,仅使用来自公共数据集的原始图像-文本对将视觉特征与大语言模型对齐,并不足以开发高性能的MiniGPT-4模型。