知识卡片
中文分词:字序列切成词序列
中文分词是把一个汉字序列按规范重新切分成词序列的过程。英文单词之间天然有空格作分界,中文只有字、句、段有明确边界,唯独词没有形式上的分隔符,因此在哪里断词远比英文困难。分词把连续的字串变成以词为单位的向量,每个分量都承载一个独立意义的词,中文文本由此获得最基础的结构化。它是自然语言处理最底层、最基础的模块,分词精度会层层传导,直接影响其上的分类、检索等应用。有了这一步,后面的词频统计、向量空间模型和权重计算才有了可操作的基本单位。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
中文分词(Chinese Word Segmentation)指的是将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文给出中文分词的定义,并以英文空格分界作对比说明中文词无形式边界、分词更难,且指出分词精度对后续模块影响很大,支撑本卡。
- 原始内容:中文分词(Chinese Word Segmentation)指的是将一个汉字序列(句子)切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。