← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9839.f · 生成模型:Hunyuan

词的界定难题

理解等级:高级

分词难的根源不完全是算法,而是词这个概念本身边界模糊。鸡蛋、牛肉、下雨是否算词?若算,鸭蛋、驴肉、下雪、鸟蛋也该算,如此组合会推出大量费解结论;若不算,这些高频字符串又都有独立意义。这个长期争论最终交给概率论处理:把切分视为概率问题,用基于概率图模型的条件随机场选择最可能的词序列。这一判断很重要——它说明分词精度不可能靠一部刚性词典彻底解决,必须依赖统计模型和语料;也解释了成熟商用分词系统往往自建词库与模型,而轻量工具只能在常识类文档上取得够用的精度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      一个著名的例子就是:“鸡蛋”、“牛肉”、“下雨”是词吗?如果是,那么“鸭蛋”、“驴肉”、“下雪”、“鸟蛋”、“鱼肉”、“下雾”也应该是词,按照这样的规则组合下去,会产生很多令人费解的结论。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文用鸡蛋牛肉下雨的例子说明词的界定长期争论、组合会得出费解结论,并指出这类问题最终交给概率论、由条件随机场解决,支撑本卡对分词难点的解释。 - 原始内容:一个著名的例子就是:“鸡蛋”、“牛肉”、“下雨”是词吗?如果是,那么“鸭蛋”、“驴肉”、“下雪”、“鸟蛋”、“鱼肉”、“下雾”也应该是词,按照这样的规则组合下去,会产生很多令人费解的结论。