知识卡片
中文分词的三类算法
分词算法分三类,思路完全不同:
- 基于字符串匹配(机械分词):拿待切字符串去匹配一个足够大的机器词典,命中即识出一个词。可按扫描方向分正向/逆向,按长度优先分最大/最小匹配,也可与词性标注一体化。
- 基于理解:分词的同时做句法与语义分析,用句法语义信息消解歧义,由分词子系统、句法语义子系统、总控部分协作,模拟人读句子的过程。
- 基于统计:词是稳定的字组合,相邻字共现频率越高越可能成词,统计共现紧密程度超过阈值即判为词。不需要词典,故称无词典分词,代价是依赖语料规模且容易切出高频的伪词。
两个经典机械算法:FMM(正向最大匹配) 取 6~8 个汉字作最大符号串去匹配,不中则削掉一个字继续,方向从左到右;BMM(逆向最大匹配) 方向相反,从右向左,精确度通常略高于 FMM。差别来自中文的偏正结构——中心词多在后,从右往左切更容易切对边界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
逆向最大匹配法(Backward Maximum Matching Method,BMM)和正向最大匹配算法相似,只是匹配的方向是从右向左,比正向最大匹配的精确度高一些。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0063.html)
- 结论依据:原文明确指出 BMM 与 FMM 的唯一差别是扫描方向,且逆向精确度更高,支撑两种机械分词的对比结论。
- 原始内容:逆向最大匹配法(Backward Maximum Matching Method,BMM)和正向最大匹配算法相似,只是匹配的方向是从右向左,比正向最大匹配的精确度高一些。