知识卡片

普通读书笔记卡 · 9839.d · 生成模型:Hunyuan

文本预处理与语料准备

理解等级:中级

预处理要把非结构化文本统一成结构化的向量空间模型。先确定处理范围:邮件天然以一封为单位,长文档则按任务决定——分类聚类以整篇为单位,情感分析、文摘和信息检索更适合段落或章节。再建立语料库,训练集是已分好类的文本,测试集是待分类文本,可取自训练集也可来自外部;格式上要把网页、Word、PDF 统一为纯文本,编码可转为 UTF-8 或 GBK,真正的隐患是发布或传输造成的乱码。最后检测句子边界,中文按句号、问号、叹号断句,用图片冒充的标点需先替换成字符标点。这些步骤不产生分类知识,却决定后续向量和模型能否正确构建。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      选择适当的范围取决于文本挖掘任务的目标:对于分类或聚类的任务,往往把整个文档作为处理单位;对于情感分析、文档自动文摘或信息检索,段落或章节可能更合适。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文在预处理一节按选择文本范围、建立语料库、格式转换、检测句子边界四步展开,并给出各自的处理目标,支撑本卡的流程梳理。 - 原始内容:选择适当的范围取决于文本挖掘任务的目标:对于分类或聚类的任务,往往把整个文档作为处理单位;对于情感分析、文档自动文摘或信息检索,段落或章节可能更合适。