知识卡片
系统性论与它的反证
批评
系统性指能从猪不会飞造出飞猪这类无限新组合,并对类别的任何成员一视同仁地应用规则。批评者认为神经网络的泛化是类比式的:只对与训练数据相似的新项有效,无法用变量做代数式操作,因此学不到真正的系统性。早期联结主义模型就吃过这一批评。
反证
这个批评假定自然语言本身是系统且构成的:整体意义由部分意义加组合方式完全决定。但语言事实并非如此:构成性是准的,词义随语境漂移;概括是部分的,大量用法靠与范例的相似性类推;不规则与半规则过程普遍存在。若人类语言本身只有部分生产性,用没达到完全系统性来否定模型,标准就设得比人类还高。反过来,符号模型也难以解释语言的梯度性与部分生产性。
可迁移启发
用某个属性否定一个系统之前,先确认参照物(人类)是否真的具备该属性。很多 AI 做不到 X 的论证,在 X 被精确化之后,会变成人类也做不到 X。
补充线索
以领域通用的方式使用信息,被视作意识的一个弱指标;模型越通用,这条线索越有分量,但它离证据还很远。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
然而,包括Berent and Marcus(2019)在内的其他研究人员则认为,目前的LLM缺乏人类认知的一个关键特征:有能力做出适用于某个类别的任何成员的全面概括,无论其与训练项目是否相似。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「然而,包括Berent and Marcus(2019)在内的其他研…」为中心展开,本卡的核心判断「批评 系统性指能从猪不会飞造出飞猪这类无限新组合,并对类别的任何成员一视同仁地应用规则。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:然而,包括Berent and Marcus(2019)在内的其他研究人员则认为,目前的LLM缺乏人类认知的一个关键特征:有能力做出适用于某个类别的任何成员的全面概括,无论其与训练项目是否相似。