知识卡片
文本预处理的六个动作
文本预处理的目标不是理解内容,而是把来源各异的原始文本压成同一种格式,让后续分词和模型少受无关差异干扰。一条通用流程包含六个动作:
- 用 strip 去掉首尾空格;
- 全部转成小写;
- 用正则
<.*?>删除 HTML 标签; - 用正则
\d+删除数字; - 用
[^a-zA-Z\s]只保留字母与空白,清掉其余符号; - 用
\s+把连续空白合并为一个空格。
每一步消除一类变异来源,使同一句话不因大小写、标签、标点而变成不同输入。边界同样明显:删数字会连同年份、数量一起丢掉,统一小写会让专有名词失去形态线索,面向具体任务时需要按需保留其中几步。这套动作只处理形式,不判断内容是否有用,后者属于清洗环节,参见 [[预处理与清洗的分工]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
文本数据预处理是自然语言处理任务的基础,旨在将原始文本数据转换为一致性和格式规范的输入数据,为模型训练提供高质量的输入。预处理的主要操作包括去除标点符号,统一字母大小写,处理数字和特殊字符,去除多余空格等,以减少数据的噪声,提高模型的泛化能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml)
- 结论依据:原文把预处理界定为把原始文本转换为格式规范的输入,并逐条列出大小写、HTML 标签、数字、特殊字符与多余空格的处理。
- 原始内容:文本数据预处理是自然语言处理任务的基础,旨在将原始文本数据转换为一致性和格式规范的输入数据,为模型训练提供高质量的输入。预处理的主要操作包括去除标点符号,统一字母大小写,处理数字和特殊字符,去除多余空格等,以减少数据的噪声,提高模型的泛化能力。