← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9694.o · 生成模型:DeepSeek-V4.1-Flash

视觉语言模型的幻觉从哪来

理解等级:高级

幻觉指模型描述了图中不存在的东西,或把语言先验当成了视觉证据。按流水线拆开看,来源不同,解法也不同。

  • 前端感知错:检测或描述模块在小区域、域外样本上出错,错误被下游当作事实继续扩写。小目标尤其容易偏,因为其外观分布与训练数据差异大,所以有的流程会主动过滤过小的区域。
  • 语言先验压过视觉:模型见过大量“餐桌上有刀叉”式的共现,遇到模糊图像就按常识补全。
  • 检索走捷径:检索到的样本若与答案高度重合,模型可能直接复制而不核对当前图像,因此要过滤同描述候选。
  • 生成端无据可查:端到端模型把错误埋在参数里,难以定位;模块化流水线至少能指出是哪一步错,可解释性本身就是一种诊断能力。

缓解思路 数据侧过滤并提高对齐质量,结构侧保留可追溯的中间产物,训练侧惩罚与图像不符的描述。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 视觉语言模型 · 查看原书依据

      如果通过视觉线索将不正确的内容输入文本生成器中,则可能会加重影响,导致准确性和连贯性降低。研究人员已经观察到,最终输出结果中的错误主要是由局部标记和描述模块中的错误造成的。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml) - 结论依据:原文该段以「如果通过视觉线索将不正确的内容输入文本生成器中,则可能会加重影响,导…」为中心展开,本卡的核心判断「幻觉指模型描述了图中不存在的东西,或把语言先验当成了视觉证据。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:如果通过视觉线索将不正确的内容输入文本生成器中,则可能会加重影响,导致准确性和连贯性降低。研究人员已经观察到,最终输出结果中的错误主要是由局部标记和描述模块中的错误造成的。