← 返回刚才阅读的位置

知识卡片

结构图卡 · 9551.c · 生成模型:DeepSeek-V4.1-Flash

中文清洗的七步流水线

理解等级:中级

中文清洗把预处理之后的文本继续压缩,去掉对任务没有贡献的成分。完整链路是七个动作,粒度由字符层逐步上升到词层。

前三步在字符层:用正则去掉 HTML 标签,防止网页结构混入正文;用字符集规则清掉特殊符号;借中文标点表删除标点。中间两步整理空白:去首尾空格、把连续空格合并为一个。最后两步进入词层:用停用词表过滤高频虚词,再遍历词表去除重复词,使每个词只出现一次。

每一步都在提高信息密度,也各有代价。去停用词会破坏句法结构,对依赖语序的任务不利;去重会抹掉词频,让“非常重要”与“重要”无法区分。因此这条流水线适合主题词提取、检索这类看重关键词的任务,而不是所有下游模型。判断某一步该不该保留,仍回到 [[预处理与清洗的分工]] 里那条标准:删掉的是否只是低价值成分。

结构图:

flowchart TD
    A[原始中文文本] --> B[去HTML标签]
    B --> C[去特殊字符]
    C --> D[去中文标点]
    D --> E[去首尾空格]
    E --> F[合并多余空格]
    F --> G[过滤停用词]
    G --> H[去除重复词]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      数据清洗的主要任务包括删除特殊符号,去除HTML标签,去除多余空格,删除停用词以及处理重复数据等。通过这些处理,文本信息更加集中和规范化,模型能够从中获取更有价值的特征。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml) - 结论依据:原文按顺序列出清洗的七项操作,从去标签、去符号、去标点到去停用词与去重,并说明结果是内容更集中、更适合模型输入。 - 原始内容:数据清洗的主要任务包括删除特殊符号,去除HTML标签,去除多余空格,删除停用词以及处理重复数据等。通过这些处理,文本信息更加集中和规范化,模型能够从中获取更有价值的特征。