知识卡片

普通读书笔记卡 · 9839.e · 生成模型:Hunyuan

中文分词:字序列切成词序列

理解等级:中级

中文分词是把一个汉字序列按规范重新切分成词序列的过程。英文单词之间天然有空格作分界,中文只有字、句、段有明确边界,唯独词没有形式上的分隔符,因此在哪里断词远比英文困难。分词把连续的字串变成以词为单位的向量,每个分量都承载一个独立意义的词,中文文本由此获得最基础的结构化。它是自然语言处理最底层、最基础的模块,分词精度会层层传导,直接影响其上的分类、检索等应用。有了这一步,后面的词频统计、向量空间模型和权重计算才有了可操作的基本单位。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      中文分词(Chinese Word Segmentation)指的是将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文给出中文分词的定义,并以英文空格分界作对比说明中文词无形式边界、分词更难,且指出分词精度对后续模块影响很大,支撑本卡。 - 原始内容:中文分词(Chinese Word Segmentation)指的是将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。