知识卡片
中文清洗的七步流水线
中文清洗把预处理之后的文本继续压缩,去掉对任务没有贡献的成分。完整链路是七个动作,粒度由字符层逐步上升到词层。
前三步在字符层:用正则去掉 HTML 标签,防止网页结构混入正文;用字符集规则清掉特殊符号;借中文标点表删除标点。中间两步整理空白:去首尾空格、把连续空格合并为一个。最后两步进入词层:用停用词表过滤高频虚词,再遍历词表去除重复词,使每个词只出现一次。
每一步都在提高信息密度,也各有代价。去停用词会破坏句法结构,对依赖语序的任务不利;去重会抹掉词频,让“非常重要”与“重要”无法区分。因此这条流水线适合主题词提取、检索这类看重关键词的任务,而不是所有下游模型。判断某一步该不该保留,仍回到 [[预处理与清洗的分工]] 里那条标准:删掉的是否只是低价值成分。
结构图:
flowchart TD
A[原始中文文本] --> B[去HTML标签]
B --> C[去特殊字符]
C --> D[去中文标点]
D --> E[去首尾空格]
E --> F[合并多余空格]
F --> G[过滤停用词]
G --> H[去除重复词]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
数据清洗的主要任务包括删除特殊符号,去除HTML标签,去除多余空格,删除停用词以及处理重复数据等。通过这些处理,文本信息更加集中和规范化,模型能够从中获取更有价值的特征。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml)
- 结论依据:原文按顺序列出清洗的七项操作,从去标签、去符号、去标点到去停用词与去重,并说明结果是内容更集中、更适合模型输入。
- 原始内容:数据清洗的主要任务包括删除特殊符号,去除HTML标签,去除多余空格,删除停用词以及处理重复数据等。通过这些处理,文本信息更加集中和规范化,模型能够从中获取更有价值的特征。