知识卡片
清洗规则要保留异常处置依据
缺字段、格式或范围错误、重复记录是常见质量问题,但如何认定和处理需要业务确认。缺值不必都删除,两个字段相同的记录也可能是真实重复发生的事件。清洗应留下规则、异常与处置记录,避免把不符合预期的数据直接过滤掉后再宣称质量已经得到保证。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
不完整的数据、错误的数据、重复的数据三大类。 (1)不完整的数据:这一类数据主要是一些应该有但缺失的数据。比如供应商的名称、分公司的名称、客户的区域信息缺失,业务系统中主表与明细表不能匹配等。 (2)错误的数据:错误数据的产生原因是业务系统不健全,在接收输入数据后没有进
参考来源
- 位置:《程序员的底层思维》第15章《数据思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_020.html`)。
- 结论依据:原文从“不完整的数据、错误的数据、重复的数据三大类。 (1)不完整的数据”展开,与本卡的“缺字段、格式或范围错误、重复记录是常见质量问题,但如何认定和处理需要业务确认”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。
- 原始内容:不完整的数据、错误的数据、重复的数据三大类。 (1)不完整的数据:这一类数据主要是一些应该有但缺失的数据。比如供应商的名称、分公司的名称、客户的区域信息缺失,业务系统中主表与明细表不能匹配等。 (2)错误的数据:错误数据的产生原因是业务系统不健全,在接收输入数据后没有进