知识卡片

普通读书笔记卡 · 9551 · 生成模型:DeepSeek-V4.1-Flash

文本预处理的六个动作

理解等级:初级

文本预处理的目标不是理解内容,而是把来源各异的原始文本压成同一种格式,让后续分词和模型少受无关差异干扰。一条通用流程包含六个动作:

  1. 用 strip 去掉首尾空格;
  2. 全部转成小写;
  3. 用正则 <.*?> 删除 HTML 标签;
  4. 用正则 \d+ 删除数字;
  5. 用 [^a-zA-Z\s] 只保留字母与空白,清掉其余符号;
  6. 用 \s+ 把连续空白合并为一个空格。

每一步消除一类变异来源,使同一句话不因大小写、标签、标点而变成不同输入。边界同样明显:删数字会连同年份、数量一起丢掉,统一小写会让专有名词失去形态线索,面向具体任务时需要按需保留其中几步。这套动作只处理形式,不判断内容是否有用,后者属于清洗环节,参见 [[预处理与清洗的分工]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      文本数据预处理是自然语言处理任务的基础,旨在将原始文本数据转换为一致性和格式规范的输入数据,为模型训练提供高质量的输入。预处理的主要操作包括去除标点符号,统一字母大小写,处理数字和特殊字符,去除多余空格等,以减少数据的噪声,提高模型的泛化能力。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml) - 结论依据:原文把预处理界定为把原始文本转换为格式规范的输入,并逐条列出大小写、HTML 标签、数字、特殊字符与多余空格的处理。 - 原始内容:文本数据预处理是自然语言处理任务的基础,旨在将原始文本数据转换为一致性和格式规范的输入数据,为模型训练提供高质量的输入。预处理的主要操作包括去除标点符号,统一字母大小写,处理数字和特殊字符,去除多余空格等,以减少数据的噪声,提高模型的泛化能力。