知识卡片
歧义是NLP真正的难点
词汇有限而意思无限,同一个词要承担多种含义,语言里还满是天然粗糙的词:这里、那里、很快、一些,人说话本来就不需要精确到坐标或数值。人消歧靠场景:当面沟通时,视觉系统里那套“什么”和“哪里”的通道会把大部分指代直接补全。机器没有这层通道,只能从上下文和知识里猜。所以分词、词性标注、专名识别、指代消解这些任务,表面是分类,实质都在处理歧义;数学家写公式、程序员写代码,正是为了另造一套无歧义语言来绕开它。歧义也不是纯粹的缺陷,它是表达经济的代价,要消灭它就得接受冗长精确的表述。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 理解语言有多难 · 查看原书依据
语言的贫乏自然造成了语言的歧义,同样的词要表示不同的意思,更难的是,语言中本身就包含很多粗糙歧义的字眼(如“这里”“那里”“很快”“一些”)
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第8章 理解语言有多难(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00015.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「语言的贫乏自然造成了语言的歧义,同样的词要表示不同的意思,更难的是,语言中本身就……」
- 原始内容:语言的贫乏自然造成了语言的歧义,同样的词要表示不同的意思,更难的是,语言中本身就包含很多粗糙歧义的字眼(如“这里”“那里”“很快”“一些”)