知识卡片
中文预处理的两个要点
中文预处理不能照搬英文的正则,有两处必须改写。
第一是字符集。保留规则要写成“汉字 + 字母 + 数字 + 空白”,用 [\u4e00-\u9fa5] 覆盖常用汉字区,其余符号一律清空;英文那套只保留 a–z 的写法会把整段中文删光。
第二是全角与半角。全角空格 \u3000 与半角空格在字节层面并不相等,不统一就会让看似相同的文本匹配失败,所以要先做替换再合并空白。
还有一个英文没有的后果:中文词间本来没有空格,标点被删掉后相邻短语直接黏连,输出里会出现“自然语言处理领域数据预处理是……”这类连写。这说明预处理只能保证字符规范,句界与词界要靠后续分词器恢复。字符集与空白处理减少噪声,代价是丢失断句线索,这一取舍需要在流程设计时明确,可对照 [[文本预处理的六个动作]] 理解英文与中文的差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
(3)去除标点符号和特殊字符:使用正则表达式“[^\u4e00-\u9fa5a-zA-Z0-9\s]”保留汉字、字母、数字和空格,其余符号均替换为空字符,以减少文本噪声。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml)
- 结论依据:原文的中文预处理示例用汉字字符区正则保留汉字与字母数字,并单独把全角空格转为半角,随后合并多余空格。
- 原始内容:(3)去除标点符号和特殊字符:使用正则表达式“[^\u4e00-\u9fa5a-zA-Z0-9\s]”保留汉字、字母、数字和空格,其余符号均替换为空字符,以减少文本噪声。