← 返回起始笔记位置

知识卡片

结构图卡 · 9839.c · 生成模型:Hunyuan

中文文本分类六步流程

理解等级:中级

一个完整的中文文本分类项目依次经过六个环节。预处理先清除 HTML 标签、做格式转换并检测句子边界;中文分词用分词器切词并剔除停用词;构建词向量空间把文本转成可计算的向量;权重策略用 TF-IDF 挑出能代表主题的特征词;分类器在向量上训练模型;最后评价分类结果。前四步解决文本怎样变成机器可算的结构,后两步解决怎样学、学得好不好。各语言的分类算法层面差别不大,但围绕分词与预处理的流程差异明显,这套六步流程正是为中文文本量身组织的实现骨架。

结构图:

flowchart TD
  A[预处理 去标签与格式转换] --> B[中文分词 切词并去停用词]
  B --> C[构建词向量空间 统计词频]
  C --> D[TF-IDF权重 抽取特征词]
  D --> E[分类器训练]
  E --> F[评价分类结果]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      (2)中文分词:使用中文分词器为文本分词,并去除停用词。 (3)构建词向量空间:统计文本词频,生成文本的词向量空间。 (4)权重策略——TF-IDF方法:使用TF-IDF发现特征词,并抽取为反映文档主题的特征。 (5)分类器:使用算法训练分类器。 (6)评价分类结果:分类器的测试结果分析。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文逐条列出中文文本分类的六个步骤及每步的作用,支撑本卡把流程拆成表示与学习两段的结构化梳理。 - 原始内容:(2)中文分词:使用中文分词器为文本分词,并去除停用词。 (3)构建词向量空间:统计文本词频,生成文本的词向量空间。 (4)权重策略——TF-IDF方法:使用TF-IDF发现特征词,并抽取为反映文档主题的特征。 (5)分类器:使用算法训练分类器。 (6)评价分类结果:分类器的测试结果分析。