知识卡片
中文文本分类六步流程
一个完整的中文文本分类项目依次经过六个环节。预处理先清除 HTML 标签、做格式转换并检测句子边界;中文分词用分词器切词并剔除停用词;构建词向量空间把文本转成可计算的向量;权重策略用 TF-IDF 挑出能代表主题的特征词;分类器在向量上训练模型;最后评价分类结果。前四步解决文本怎样变成机器可算的结构,后两步解决怎样学、学得好不好。各语言的分类算法层面差别不大,但围绕分词与预处理的流程差异明显,这套六步流程正是为中文文本量身组织的实现骨架。
结构图:
flowchart TD
A[预处理 去标签与格式转换] --> B[中文分词 切词并去停用词]
B --> C[构建词向量空间 统计词频]
C --> D[TF-IDF权重 抽取特征词]
D --> E[分类器训练]
E --> F[评价分类结果]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
(2)中文分词:使用中文分词器为文本分词,并去除停用词。 (3)构建词向量空间:统计文本词频,生成文本的词向量空间。 (4)权重策略——TF-IDF方法:使用TF-IDF发现特征词,并抽取为反映文档主题的特征。 (5)分类器:使用算法训练分类器。 (6)评价分类结果:分类器的测试结果分析。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文逐条列出中文文本分类的六个步骤及每步的作用,支撑本卡把流程拆成表示与学习两段的结构化梳理。
- 原始内容:(2)中文分词:使用中文分词器为文本分词,并去除停用词。 (3)构建词向量空间:统计文本词频,生成文本的词向量空间。 (4)权重策略——TF-IDF方法:使用TF-IDF发现特征词,并抽取为反映文档主题的特征。 (5)分类器:使用算法训练分类器。 (6)评价分类结果:分类器的测试结果分析。