知识卡片
形式能力不等于功能能力
两种能力
形式语言能力指掌握语法知识:音系、句法、语义规则。功能语言能力指在真实场景里使用语言,包含四类推理知识——形式推理(逻辑与解题)、世界知识(物体、事件、属性、关系)、情景建模(从文本建构情境并跟踪其演变)、社会推理(考虑对话者的心理状态与共享知识)。
为什么这个区分有用
预训练目标(预测上下文中的下一个词)主要诱导形式能力;功能能力需要额外信号:指令微调、基于人类反馈的强化学习、领域语料、模块化训练。它同时拆掉两个流行等式——语言能力强等于思维能力强,思维能力差等于语言能力差:两者可以分离,也必须分开测量。
文本的结构性缺口
世界知识尤其难从文本补齐,一个机制是报告偏差:说话者会省略他认为听者已经知道的信息,于是颜色、形状这类属性在语料中表达力很差。更大的模型不一定改善,因为缺的是被省略的信息,不是容量。
评估启示
形式与功能应分开测。混测会让总分掩盖结构:模型可能在语法测试上接近人类,却在需要世界知识与社会推理的任务上系统性偏低。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包括物体、事件、属性、参与者和关系的知识)、情景建模(创建从语言输入中提取的故事表征并跟踪其随时间演变的能力)和社会推理(在使用语言的同时考虑对话者的心理状态和共享知识)。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包…」为中心展开,本卡的核心判断「两种能力 形式语言能力指掌握语法知识:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包括物体、事件、属性、参与者和关系的知识)、情景建模(创建从语言输入中提取的故事表征并跟踪其随时间演变的能力)和社会推理(在使用语言的同时考虑对话者的心理状态和共享知识)。