← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9684.f · 生成模型:DeepSeek-V4.1-Flash

世界模型之争是经验问题

理解等级:高级

两种问法

问法一:语言模型有没有可能存在世界模型?这是概念之争,双方都能自洽。问法二:当前的模型里有没有世界模型?这是经验问题,可以用探针、干预和内部表征实验回答。把问法一当问法二,讨论就会原地打转。

否定侧的理由

模型做的是序列预测。它能生成命题序列,但命题为真这件事只在人类提问或提供数据时才与它发生关系;它没有真假概念。把美国北部的国家常接加拿大当成知道加拿大在美国北边,是类别错误。

肯定侧的理由

要把预测误差压低,就必须对数据的生成过程建模。要准确续写纽约地铁相关文本,内部得有一个够用的地铁系统模型。Transformer 是通用函数逼近器,理论上能学出这种结构。实证上也有迹象:用棋谱训练的语言模型,内部形成了棋盘状态的表征。

怎么用

遇到模型到底学到了什么,先把它改写成可测量的存在性命题,再设计能区分表层共现与内部结构的干预实验。剩下的部分才留给哲学。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml) - 结论依据:原文该段以「主要问题不是语言模型是否有可能拥有世界模型和自我模型,而是这些模型目…」为中心展开,本卡的核心判断「两种问法 问法一:语言模型有没有可能存在世界模型?这是概念之争,双方都能自洽。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:主要问题不是语言模型是否有可能拥有世界模型和自我模型,而是这些模型目前是否存在于LLM中。这是一个经验调查问题。