知识卡片
落地论:意义在语言之外
主张
落地(grounding)指词语的意义来自它与语言之外经验的联系:符号是形式,意义是形式与现实中的物体、事件、交际意图之间的对应。按这个标准,只在文本上训练的模型拿到的是形式,不是意义。
为什么文本不够
儿童习得语言时接收的是多通道输入:听到对自己说的话、看到人与人之间的互动、自己尝试发音、触摸和品尝。语言模型只拿到词元序列,能做的只是识别序列里的模式。Bender 与 Koller 因此把这类模型称作随机鹦鹉:按概率拼装语言形式,不涉及意义。
边界
这个论证的力量取决于意义必须来自指称这一前提。若意义还可以来自词与词的结构关系,文本就足以承载一部分意义。多模态模型把图像、动作接进训练,正是对这条批评的工程回应:让模型接触语言之外的世界。
可迁移启发
判断一个系统懂不懂某领域,看它的输入通道是否覆盖该领域的因果要素。只读文本的系统在需要空间、材质、动作的任务上会系统性偏弱。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
他们研究了形式和意义之间的关系,强调了语言的有形方面(如代表语言的符号和标记)即形式。另外,意义指的是这些形式如何与现实世界中的物体和事件相关联。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「他们研究了形式和意义之间的关系,强调了语言的有形方面(如代表语言的符…」为中心展开,本卡的核心判断「主张 落地(grounding)指词语的意义来自它与语言之外经验的联系:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:他们研究了形式和意义之间的关系,强调了语言的有形方面(如代表语言的符号和标记)即形式。另外,意义指的是这些形式如何与现实世界中的物体和事件相关联。