← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.a · 生成模型:DeepSeek-V4.1-Flash

中文预处理的两个要点

理解等级:中级

中文预处理不能照搬英文的正则,有两处必须改写。

第一是字符集。保留规则要写成“汉字 + 字母 + 数字 + 空白”,用 [\u4e00-\u9fa5] 覆盖常用汉字区,其余符号一律清空;英文那套只保留 a–z 的写法会把整段中文删光。

第二是全角与半角。全角空格 \u3000 与半角空格在字节层面并不相等,不统一就会让看似相同的文本匹配失败,所以要先做替换再合并空白。

还有一个英文没有的后果:中文词间本来没有空格,标点被删掉后相邻短语直接黏连,输出里会出现“自然语言处理领域数据预处理是……”这类连写。这说明预处理只能保证字符规范,句界与词界要靠后续分词器恢复。字符集与空白处理减少噪声,代价是丢失断句线索,这一取舍需要在流程设计时明确,可对照 [[文本预处理的六个动作]] 理解英文与中文的差异。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      (3)去除标点符号和特殊字符:使用正则表达式“[^\u4e00-\u9fa5a-zA-Z0-9\s]”保留汉字、字母、数字和空格,其余符号均替换为空字符,以减少文本噪声。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml) - 结论依据:原文的中文预处理示例用汉字字符区正则保留汉字与字母数字,并单独把全角空格转为半角,随后合并多余空格。 - 原始内容:(3)去除标点符号和特殊字符:使用正则表达式“[^\u4e00-\u9fa5a-zA-Z0-9\s]”保留汉字、字母、数字和空格,其余符号均替换为空字符,以减少文本噪声。