知识卡片
预处理与清洗的分工
预处理与清洗常被混为一谈,实际管的是两件事。
预处理面向形式一致性:大小写、标点、HTML 标签、全角半角、多余空格,目标是让同一内容只有一种写法,模型不会因为写法差异把它当成两种输入。
清洗面向信息密度:停用词、重复词、无意义符号,目标是让保留下来的内容更有区分度,同样的长度里装更多有效信息。
顺序上先预处理再清洗更合理。格式统一之后,停用词表与去重规则才能稳定匹配;反过来,带着大小写混用与标签的文本先过滤停用词,会漏掉大量变体。两者都会删信息,但尺度不同:预处理删的是与语义无关的噪声,清洗删的是对任务贡献低的成分。判断一个操作属于哪一步,只需问它是在消除表达差异,还是在削减内容本身。这条分界贯穿整章,具体落地见 [[中文清洗的七步流水线]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据处理与数据增强 · 查看原书依据
文本数据清洗是文本数据处理中的关键步骤,旨在去除文本中的无意义或噪声信息,以提高数据的有效信息密度,为后续的模型训练提供更干净、准确的输入。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml)
- 结论依据:原文把清洗定义为去除无意义或噪声信息、提高有效信息密度,与预处理强调的格式规范形成分工。
- 原始内容:文本数据清洗是文本数据处理中的关键步骤,旨在去除文本中的无意义或噪声信息,以提高数据的有效信息密度,为后续的模型训练提供更干净、准确的输入。