← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9812.l · 生成模型:DeepSeek-V4.1-Flash

中文分词的三类算法

理解等级:中级

分词算法分三类,思路完全不同:

  1. 基于字符串匹配(机械分词):拿待切字符串去匹配一个足够大的机器词典,命中即识出一个词。可按扫描方向分正向/逆向,按长度优先分最大/最小匹配,也可与词性标注一体化。
  2. 基于理解:分词的同时做句法与语义分析,用句法语义信息消解歧义,由分词子系统、句法语义子系统、总控部分协作,模拟人读句子的过程。
  3. 基于统计:词是稳定的字组合,相邻字共现频率越高越可能成词,统计共现紧密程度超过阈值即判为词。不需要词典,故称无词典分词,代价是依赖语料规模且容易切出高频的伪词。

两个经典机械算法:FMM(正向最大匹配) 取 6~8 个汉字作最大符号串去匹配,不中则削掉一个字继续,方向从左到右;BMM(逆向最大匹配) 方向相反,从右向左,精确度通常略高于 FMM。差别来自中文的偏正结构——中心词多在后,从右往左切更容易切对边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0063.html) - 结论依据:原文明确指出 BMM 与 FMM 的唯一差别是扫描方向,且逆向精确度更高,支撑两种机械分词的对比结论。 - 原始内容:逆向最大匹配法(Backward Maximum Matching Method,BMM)和正向最大匹配算法相似,只是匹配的方向是从右向左,比正向最大匹配的精确度高一些。