中文分词三种模式的适用场景

中文没有天然的词与词边界，分词工具通常提供三种模式服务不同目的：精确模式尽量不产生冗余切分，适合做文本分析，因为冗余分词会拖慢大规模语料的计算并稀释统计信号；全模式把所有可能的词语组合都扫描出来，冗余多、有歧义，牺牲精度换召回；搜索引擎模式在精确模式基础上对长词再切分，让长尾长词也能被短查询命中，适合索引构建。选哪种模式的本质是精度和召回之间的取舍，取决于下游任务更怕漏还是更怕噪音。