知识卡片

操作参考卡 · 9839.h · 生成模型:Hunyuan

jieba分词的三种模式

理解等级:中级

jieba 是原生支持 Python 的轻量分词库,占用资源小、常识类文档精度较高,可经 pip 安装,本书所用版本以 CRF 为分词算法。它提供三种切分模式:默认模式按常见词典做最合理切分;全切分模式穷举句中所有可成词的组合,召回高但冗余多;搜索引擎模式在默认切分基础上对长词再切分,兼顾精度与检索召回。示例中小明1995年毕业于北京清华大学在默认模式下切成小明、1995、年、毕业、于、北京、清华大学,全切分则额外产出华大、大学等碎片。实际项目按需求选择:分类特征提取通常用默认或搜索引擎模式,全切分适合需要覆盖所有候选词的场景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      jieba分词支持的分词模式包括默认切分、全切分、搜索引擎切分几种,应用范围较广。中文文本分词之后,连续的字序列就变成了以词为单位的向量。向量中的每个分量都是一个有独立意义的词。通过分词,中文文本实现了最基础的结构化。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文说明 jieba 支持默认切分、全切分、搜索引擎切分三种模式并给出同一句话在三种模式下的输出对比,支撑本卡对模式差异与适用场景的说明。 - 原始内容:jieba分词支持的分词模式包括默认切分、全切分、搜索引擎切分几种,应用范围较广。中文文本分词之后,连续的字序列就变成了以词为单位的向量。向量中的每个分量都是一个有独立意义的词。通过分词,中文文本实现了最基础的结构化。