知识卡片
坏数据按比例决定处置
清洗不是“把不合格的行全扔掉”。解析阶段应把校验写进可测试的函数:字段数不对、代码格式不符、日期或数字解析失败就返回 None,调用方逐行决定跳过并打印,这样一条坏行不会让整个程序崩掉,也方便写断言做单元测试。处置只有三种:删除、溯源修复、暂时不管。判断依据是比例与影响——几百万行里坏一行可以直接忽略;一半行有问题就必须回头查采集环节。忽略的代价是偏差:被丢掉的往往不是随机样本(比如某个日期格式整批异常),删完之后剩下的数据会系统性偏向某一类记录,模型学到的是偏差而不是规律。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 数据工作 · 查看原书依据
然后决定如何处理无效数据。一般来说,有 3 个选择:直接删除它们,溯源并尝试修复不良数据或缺失数据,或者什么也不做。如果数百万行数据中有一行不良数据,那么可以直接忽略它,但如果一半的行有不良数据,那就需要修复。
参考来源
- 位置:《数据科学入门(第2版)》第10章 数据工作(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0014.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「然后决定如何处理无效数据……」
- 原始内容:然后决定如何处理无效数据。一般来说,有 3 个选择:直接删除它们,溯源并尝试修复不良数据或缺失数据,或者什么也不做。如果数百万行数据中有一行不良数据,那么可以直接忽略它,但如果一半的行有不良数据,那就需要修复。