← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9812.k · 生成模型:DeepSeek-V4.1-Flash

分词的英文特例与中文难题

理解等级:中级

词法分析是把字符串切成可作索引词条的过程。英文看似只需按空格切,实际有四个特例:

  • 数字:脱离上下文没有明确含义,一般不适合做索引词条。
  • 连字符:先用规则挑出对词义有影响的保留,其余过滤掉。
  • 标点:通常全部去除,但本身是单词组成部分的标点不能去。
  • 大小写:一般统一转为大写或小写,特殊场景(如专名、代号)需要区分。

中文没有词边界,问题更硬,集中在两点:歧义识别——同一句话存在两种或多种合法切分;新词识别——词典未收录的「未登录词」,如新造词、人名、品牌名。前者切错会改变语义,后者切不出会直接漏召回。

两端共同的教训是:分词不是纯文本操作,它决定了倒排表的键长什么样。粒度粗则召回高但精度低,粒度细则精度高但容易漏,所以索引侧与查询侧必须使用一致的切分口径,否则同一概念在两边对不上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 搜索系统框架及原理 · 查看原书依据

      在中文分词的过程中,有两大难题:一是歧义识别,所谓歧义是指同样的一句话可能有两种或者多种切分方法;二是新词识别,“新词”的专业术语为“未登录词”,也就是那些在字典中没有收录过的词。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0063.html) - 结论依据:原文把中文分词归纳为歧义识别与未登录词两大难题并给出定义,是分词难点的权威表述。 - 原始内容:在中文分词的过程中,有两大难题:一是歧义识别,所谓歧义是指同样的一句话可能有两种或者多种切分方法;二是新词识别,“新词”的专业术语为“未登录词”,也就是那些在字典中没有收录过的词。