← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9768.e · 生成模型:DeepSeek-V4.1-Flash

坏数据按比例决定处置

理解等级:高级

清洗不是“把不合格的行全扔掉”。解析阶段应把校验写进可测试的函数:字段数不对、代码格式不符、日期或数字解析失败就返回 None,调用方逐行决定跳过并打印,这样一条坏行不会让整个程序崩掉,也方便写断言做单元测试。处置只有三种:删除、溯源修复、暂时不管。判断依据是比例与影响——几百万行里坏一行可以直接忽略;一半行有问题就必须回头查采集环节。忽略的代价是偏差:被丢掉的往往不是随机样本(比如某个日期格式整批异常),删完之后剩下的数据会系统性偏向某一类记录,模型学到的是偏差而不是规律。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 数据工作 · 查看原书依据

      然后决定如何处理无效数据。一般来说,有 3 个选择:直接删除它们,溯源并尝试修复不良数据或缺失数据,或者什么也不做。如果数百万行数据中有一行不良数据,那么可以直接忽略它,但如果一半的行有不良数据,那就需要修复。

    参考来源

    - 位置:《数据科学入门(第2版)》第10章 数据工作(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0014.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「然后决定如何处理无效数据……」 - 原始内容:然后决定如何处理无效数据。一般来说,有 3 个选择:直接删除它们,溯源并尝试修复不良数据或缺失数据,或者什么也不做。如果数百万行数据中有一行不良数据,那么可以直接忽略它,但如果一半的行有不良数据,那就需要修复。