知识卡片
用相似度检索替代训练
核心假设 相似图像的描述也相似。既然这样,就不必训练:把输入图像编码后,与一个小规模图文对库逐条比对,用相对表征(样本之间的相对位置)而不是绝对坐标来判断它更像哪类描述。
用法 零样本分类时给每个类别手写多个模板句(如“一种宠物 CLASS”),把图像与全部模板句比对取最优;整个流程没有任何梯度更新。
好处 构建成本低,适合算力有限又想要 CLIP 能力的场景;想增删某个样本,直接改库即可,不必做机器遗忘;预测可追溯到库里的少数条目,天然可解释,敏感任务更容易审计。
边界 效果高度依赖预训练数据与库的质量覆盖;推理要与整个库比对,规模上去就变慢,所以它是 CLIP 的补充而非通用替代品。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
ASIF背后的核心思路是相似图像的描述也是相似的,所以可以通过创建一个相对表征(Moschella et al,2022)空间,通过一个小型的多模态对基础事实数据集进行基于相似性的搜索。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「ASIF背后的核心思路是相似图像的描述也是相似的,所以可以通过创建一…」为中心展开,本卡的核心判断「核心假设 相似图像的描述也相似。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:ASIF背后的核心思路是相似图像的描述也是相似的,所以可以通过创建一个相对表征(Moschella et al,2022)空间,通过一个小型的多模态对基础事实数据集进行基于相似性的搜索。