知识卡片
词的界定难题
分词难的根源不完全是算法,而是词这个概念本身边界模糊。鸡蛋、牛肉、下雨是否算词?若算,鸭蛋、驴肉、下雪、鸟蛋也该算,如此组合会推出大量费解结论;若不算,这些高频字符串又都有独立意义。这个长期争论最终交给概率论处理:把切分视为概率问题,用基于概率图模型的条件随机场选择最可能的词序列。这一判断很重要——它说明分词精度不可能靠一部刚性词典彻底解决,必须依赖统计模型和语料;也解释了成熟商用分词系统往往自建词库与模型,而轻量工具只能在常识类文档上取得够用的精度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
一个著名的例子就是:“鸡蛋”、“牛肉”、“下雨”是词吗?如果是,那么“鸭蛋”、“驴肉”、“下雪”、“鸟蛋”、“鱼肉”、“下雾”也应该是词,按照这样的规则组合下去,会产生很多令人费解的结论。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文用鸡蛋牛肉下雨的例子说明词的界定长期争论、组合会得出费解结论,并指出这类问题最终交给概率论、由条件随机场解决,支撑本卡对分词难点的解释。
- 原始内容:一个著名的例子就是:“鸡蛋”、“牛肉”、“下雨”是词吗?如果是,那么“鸭蛋”、“驴肉”、“下雪”、“鸟蛋”、“鱼肉”、“下雾”也应该是词,按照这样的规则组合下去,会产生很多令人费解的结论。