← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.h · 生成模型:DeepSeek-V4.1-Flash

只训一个投影层够不够

理解等级:中级

架构极简 MiniGPT-4 用冻结的 BLIP-2 视觉编码器加冻结的 Vicuna,中间只有一个投影层,在约 500 万对图文数据上训练,4 张 A100 约 10 小时即可完成。

关键教训不在架构,在数据 只用公开数据集里的原始图文对做对齐,模型会输出重复句、断句和不连贯文本:图文对只保证“图与文相关”,并不保证“这段话像样”。第二阶段换用人工筛选的高质量、高对齐数据微调后,可用性才明显提升。

可迁移的启发 接口层参数量可以极小,真正的瓶颈是数据质量与对齐程度;“先粗对齐、再用好数据校准”这个两段式在后续工作中反复出现。判断一个轻量方案是否可行,先看数据能不能撑住接口,而不是先看接口有多复杂。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「Zhu等还发现,仅使用来自公共数据集的原始图像-文本对将视觉特征与大…」为中心展开,本卡的核心判断「架构极简 MiniGPT-4 用冻结的 BLIP-2 视觉编码器加冻结的 Vic」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Zhu等还发现,仅使用来自公共数据集的原始图像-文本对将视觉特征与大语言模型对齐,并不足以开发高性能的MiniGPT-4模型。