知识卡片
语言为何需要视觉落地
是什么 概念落地(conceptual grounding)指词语的意义锚定在感官经验与身体动作上,而不只锚定在词语之间的统计关系里。神经影像的证据是:读“踢”会带动运动皮层,读“杯子”会带动视觉区,说明语义提取会顺带激活对应的感官通道。
为什么重要 纯文本模型只能从共现里推断“杯子”和“踢”的用法差别,却没有任何关于重量、形状、动作幅度的信息。把语言放回多模态环境,等于给词向量补上一条来自感知的约束。
边界 落地不是逐词对应:抽象词(正义、利息)没有可直接对应的感觉通道,仍要靠语言内部的框架来定义。所以多模态不是替代文本,而是给文本加一层可验证的参照。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 视觉语言模型 · 查看原书依据
这一观点被称为“概念落地”(conceptual grounding),认为语言植根于感官体验和感知运动的互动
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第11章《视觉语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文该段以「这一观点被称为“概念落地”(conceptual grounding…」为中心展开,本卡的核心判断「是什么 概念落地(conceptual grounding)指词语的意义锚定在感」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:这一观点被称为“概念落地”(conceptual grounding),认为语言植根于感官体验和感知运动的互动