知识卡片
计算机难以理解语言的两因
计算机理解语言之所以艰难,有两大根源。
其一是语言规律错综复杂:不能靠简单统计算出概率;语言间语法不同,同一意思有多种表达,同一表达又可能有多种理解。建立语料库相当于为人类语言重编一部百科全书,工作量巨大。其二是语境依赖:语言为特定环境而生并带有环境烙印,例如“百度”由企业名被市场教育成“搜索一下”的动词,这类表达计算机很难理解。
若坚持用统计配对方式“理解”,语言的组合性会产生海量组合,全部存储容易引发维数灾难。更深层地,自然语言是离散抽象符号,直接跳过感知世界的过程而指向语义与逻辑,语言能否被数学模型刻画仍无定论,所以这个领域被叫“处理”而非“理解”。
边界:这两因解释的是难度来源,不等于语言不可计算。迁移启发:处理带语境的符号系统时,要为“组合爆炸”和“语境漂移”预留机制。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.1.2 为什么计算机难以理解语言 · 查看原书依据
一方面是因为语言的规律错综复杂,不是用简单的统计方法就可以计算出概率的。不同的语言之间语法结构不同,并且同一种语言对于同一个意思有不同的表达方式,对于同一个表达也可能有不同的理解。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文从“规律复杂”与“语境依赖”两方面给出原因,并补充组合方式导致维数灾难,支撑“理解语言极具挑战、故称处理而非理解”的结论。
- 原始内容:一方面是因为语言的规律错综复杂,不是用简单的统计方法就可以计算出概率的。不同的语言之间语法结构不同,并且同一种语言对于同一个意思有不同的表达方式,对于同一个表达也可能有不同的理解。