知识卡片
中文文本分类流水线
中文文本分类的完整链条是固定的:语料 → 预处理 → 分词 → 词频矩阵 → TF-IDF → 模型 → 评估 → 预测。朴素贝叶斯只是链条中”模型”这一环,它的效果上限由前面几步决定。
每一步在做什么
- 预处理:爬来的文本含 HTML 标签、特殊符号,先去噪再分词,否则标签会被当成词进入词表。
- 分词:中文没有空格,必须切词才能得到结构化单位。jieba 提供默认、全切分、搜索引擎三种模式,按业务选,本章统一用默认切分模式。分词粒度直接决定特征粒度:切得太碎会得到大量无意义碎片,切得太粗会丢掉组合信息。
- 词频矩阵:
CountVectorizer.fit_transform(corpus),每行一个文档、每列一个词,值是词频。max_df/min_df在这里起过滤作用——出现得太普遍的词和只出现一两次的词都不进词表。 - TF-IDF:
TfidfTransformer把词频转成带权矩阵,原理见[[TF-IDF压制通用词]]。 - 训练与评估:把矩阵和标签喂给模型;用交叉验证看稳定准确率,用
classification_report看各类的 precision/recall/F1,用confusion_matrix看混淆集中的地方(对角线是判对的)。 - 预测新文本:走完全相同的预处理、分词、向量化步骤,再
predict。
最容易出错的一环:预测集必须复用训练集向量化器的词表,即构造 CountVectorizer(vocabulary=vectorizer.vocabulary_)。否则预测集会按自己的词重新建列,列的含义和顺序都与训练集不同,模型拿到的是一组错位的特征——不报错,只是结果全错。
结构图:
flowchart LR
A[语料与类别标签] --> B[预处理去噪]
B --> C[分词 jieba]
C --> D[去停用词]
D --> E[CountVectorizer 词频矩阵]
E --> F[TfidfTransformer 加权]
F --> G[朴素贝叶斯训练]
G --> H[交叉验证与混淆矩阵]
H --> I[新文本按同样步骤预测]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 朴素贝叶斯 4.4 中文文本分类项目 · 查看原书依据
得到训练集文档集合的TF-IDF矩阵后,我们就可以很容易地调用scikit-learn中的各个模型来进行训练和预测了
参考来源
- 位置:《机器学习基础:从入门到求职》第4章《中文文本分类项目》4.4(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00007.html)
- 结论依据:原文按预处理、分词、词频与 TF-IDF 统计、模型训练与评估四步组织项目,并在最后强调预测前须用同样步骤处理测试集文本。
- 原始内容:通过分词,中文文本实现了基本的结构化,下一步就是统计文档词频矩阵并转化为TF-IDF矩阵的形式。……得到训练集文档集合的TF-IDF矩阵后,我们就可以很容易地调用scikit-learn中的各个模型来进行训练和预测了