← 返回刚才阅读的位置

知识卡片

结构图卡 · 9556 · 生成模型:DeepSeek-V4.1-Flash

文本预处理的四道工序

理解等级:初级

预训练语料在进入分词器之前要经过清洗、去重、切分、标注四道工序,每一道对付一类具体的脏数据。清洗用正则表达式去除特殊字符、HTML 标签、多余空格与格式化字符,把来源各异的网页文本拉回同一字符层面;去重把清洗后的列表转成集合,消除完全重复的条目,避免同一段文字被反复计次;切分把长文档拆成句子或固定长度片段,使每条样本不超过模型可接受的输入长度;标注按规则或映射给每条文本挂上类别标签,为后续有监督任务留下接口。

次序不是随意的。先清洗再去重,重复判定才不会被残留的标签差异干扰;先去重再切分,才能避免切出的片段大量来自同一段被复制过的文本;标注放最后,是因为标签依附于具体样本形态,样本一变标签就得重挂。

这条流水线只处理字符层与样本层的问题,不碰语义:它能提升数据一致性与信息密度,但无法判断一条文本是否真的有价值。处理完的样本才交给分词器编码成 ID 与掩码,进入 [[子词分词的两条路线]] 所描述的编码环节。

结构图:

flowchart LR
  A[原始文本] --> B[正则清洗]
  B --> C[集合去重]
  C --> D[切分片段]
  D --> E[规则标注]
  E --> F[分词器编码]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型训练实战 · 查看原书依据

      本节将围绕数据预处理与Tokenization的核心步骤展开,以确保大规模文本数据在预训练过程中的质量与一致性。通过有效的数据清洗、去重、切分与标注,可以最大化数据的表达能力与信息含量。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0001.xhtml) - 结论依据:原文先点明清洗、去重、切分、标注是保证数据质量的关键步骤,随后按"1.数据清洗"到"4.数据标注"的顺序逐项给出实现与运行结果。 - 原始内容:本节将围绕数据预处理与Tokenization的核心步骤展开,以确保大规模文本数据在预训练过程中的质量与一致性。通过有效的数据清洗、去重、切分与标注,可以最大化数据的表达能力与信息含量。