知识卡片
分词的英文特例与中文难题
词法分析是把字符串切成可作索引词条的过程。英文看似只需按空格切,实际有四个特例:
- 数字:脱离上下文没有明确含义,一般不适合做索引词条。
- 连字符:先用规则挑出对词义有影响的保留,其余过滤掉。
- 标点:通常全部去除,但本身是单词组成部分的标点不能去。
- 大小写:一般统一转为大写或小写,特殊场景(如专名、代号)需要区分。
中文没有词边界,问题更硬,集中在两点:歧义识别——同一句话存在两种或多种合法切分;新词识别——词典未收录的「未登录词」,如新造词、人名、品牌名。前者切错会改变语义,后者切不出会直接漏召回。
两端共同的教训是:分词不是纯文本操作,它决定了倒排表的键长什么样。粒度粗则召回高但精度低,粒度细则精度高但容易漏,所以索引侧与查询侧必须使用一致的切分口径,否则同一概念在两边对不上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
在中文分词的过程中,有两大难题:一是歧义识别,所谓歧义是指同样的一句话可能有两种或者多种切分方法;二是新词识别,“新词”的专业术语为“未登录词”,也就是那些在字典中没有收录过的词。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0063.html)
- 结论依据:原文把中文分词归纳为歧义识别与未登录词两大难题并给出定义,是分词难点的权威表述。
- 原始内容:在中文分词的过程中,有两大难题:一是歧义识别,所谓歧义是指同样的一句话可能有两种或者多种切分方法;二是新词识别,“新词”的专业术语为“未登录词”,也就是那些在字典中没有收录过的词。