← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.b · 生成模型:DeepSeek-V4.1-Flash

预处理与清洗的分工

理解等级:中级

预处理与清洗常被混为一谈,实际管的是两件事。

预处理面向形式一致性:大小写、标点、HTML 标签、全角半角、多余空格,目标是让同一内容只有一种写法,模型不会因为写法差异把它当成两种输入。

清洗面向信息密度:停用词、重复词、无意义符号,目标是让保留下来的内容更有区分度,同样的长度里装更多有效信息。

顺序上先预处理再清洗更合理。格式统一之后,停用词表与去重规则才能稳定匹配;反过来,带着大小写混用与标签的文本先过滤停用词,会漏掉大量变体。两者都会删信息,但尺度不同:预处理删的是与语义无关的噪声,清洗删的是对任务贡献低的成分。判断一个操作属于哪一步,只需问它是在消除表达差异,还是在削减内容本身。这条分界贯穿整章,具体落地见 [[中文清洗的七步流水线]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      文本数据清洗是文本数据处理中的关键步骤,旨在去除文本中的无意义或噪声信息,以提高数据的有效信息密度,为后续的模型训练提供更干净、准确的输入。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0001.xhtml) - 结论依据:原文把清洗定义为去除无意义或噪声信息、提高有效信息密度,与预处理强调的格式规范形成分工。 - 原始内容:文本数据清洗是文本数据处理中的关键步骤,旨在去除文本中的无意义或噪声信息,以提高数据的有效信息密度,为后续的模型训练提供更干净、准确的输入。