知识卡片

普通读书笔记卡 · 9684.i · 生成模型:DeepSeek-V4.1-Flash

形式能力不等于功能能力

理解等级:高级

两种能力

形式语言能力指掌握语法知识:音系、句法、语义规则。功能语言能力指在真实场景里使用语言,包含四类推理知识——形式推理(逻辑与解题)、世界知识(物体、事件、属性、关系)、情景建模(从文本建构情境并跟踪其演变)、社会推理(考虑对话者的心理状态与共享知识)。

为什么这个区分有用

预训练目标(预测上下文中的下一个词)主要诱导形式能力;功能能力需要额外信号:指令微调、基于人类反馈的强化学习、领域语料、模块化训练。它同时拆掉两个流行等式——语言能力强等于思维能力强,思维能力差等于语言能力差:两者可以分离,也必须分开测量。

文本的结构性缺口

世界知识尤其难从文本补齐,一个机制是报告偏差:说话者会省略他认为听者已经知道的信息,于是颜色、形状这类属性在语料中表达力很差。更大的模型不一定改善,因为缺的是被省略的信息,不是容量。

评估启示

形式与功能应分开测。混测会让总分掩盖结构:模型可能在语法测试上接近人类,却在需要世界知识与社会推理的任务上系统性偏低。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据

      推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包括物体、事件、属性、参与者和关系的知识)、情景建模(创建从语言输入中提取的故事表征并跟踪其随时间演变的能力)和社会推理(在使用语言的同时考虑对话者的心理状态和共享知识)。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml) - 结论依据:原文该段以「推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包…」为中心展开,本卡的核心判断「两种能力 形式语言能力指掌握语法知识:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:推理知识有4种类型——形式推理(如逻辑推理和问题解决)、世界知识(包括物体、事件、属性、参与者和关系的知识)、情景建模(创建从语言输入中提取的故事表征并跟踪其随时间演变的能力)和社会推理(在使用语言的同时考虑对话者的心理状态和共享知识)。