知识卡片
文本预处理的四道工序
预训练语料在进入分词器之前要经过清洗、去重、切分、标注四道工序,每一道对付一类具体的脏数据。清洗用正则表达式去除特殊字符、HTML 标签、多余空格与格式化字符,把来源各异的网页文本拉回同一字符层面;去重把清洗后的列表转成集合,消除完全重复的条目,避免同一段文字被反复计次;切分把长文档拆成句子或固定长度片段,使每条样本不超过模型可接受的输入长度;标注按规则或映射给每条文本挂上类别标签,为后续有监督任务留下接口。
次序不是随意的。先清洗再去重,重复判定才不会被残留的标签差异干扰;先去重再切分,才能避免切出的片段大量来自同一段被复制过的文本;标注放最后,是因为标签依附于具体样本形态,样本一变标签就得重挂。
这条流水线只处理字符层与样本层的问题,不碰语义:它能提升数据一致性与信息密度,但无法判断一条文本是否真的有价值。处理完的样本才交给分词器编码成 ID 与掩码,进入 [[子词分词的两条路线]] 所描述的编码环节。
结构图:
flowchart LR
A[原始文本] --> B[正则清洗]
B --> C[集合去重]
C --> D[切分片段]
D --> E[规则标注]
E --> F[分词器编码]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
本节将围绕数据预处理与Tokenization的核心步骤展开,以确保大规模文本数据在预训练过程中的质量与一致性。通过有效的数据清洗、去重、切分与标注,可以最大化数据的表达能力与信息含量。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0001.xhtml)
- 结论依据:原文先点明清洗、去重、切分、标注是保证数据质量的关键步骤,随后按"1.数据清洗"到"4.数据标注"的顺序逐项给出实现与运行结果。
- 原始内容:本节将围绕数据预处理与Tokenization的核心步骤展开,以确保大规模文本数据在预训练过程中的质量与一致性。通过有效的数据清洗、去重、切分与标注,可以最大化数据的表达能力与信息含量。