知识卡片
清洗修正错误并标识缺失
清洗识别错误、缺失或无法关联的数据,并按明确规则修正或保留“未知”类别。占位编码的作用是避免关联时悄悄丢掉记录,不是编造真实业务值。修正依据应可追溯,原始数据应保留,以便之后核查与重新处理。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
数据清洗:被抽取过来的原始数据中可能有大量错误数据,比如相关字段不全、缺失相应数据等,应当采取一些措施对缺失数据进行填补。例如,对于缺失纳税人、行业或税务机关的记录,补填一个“未知纳税人”“未知行业”或“未知税务机关”对应的编码,便于日后的关联查询;对于一些明显的数据错误予以纠正,比如超大的日期、错误的名称等。当遇到这些情况,而原业务系统又不便于修正时,就需要在数据仓库中进行修正,并记录在元数据中。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.3.2 数据中台建设的核心”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter138.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:清洗识别错误、缺失或无法关联的数据,并按明确规则修正或保留“未知”类别。其余范围限定用于避免超出书内证据。
- 原始内容:数据清洗:被抽取过来的原始数据中可能有大量错误数据,比如相关字段不全、缺失相应数据等,应当采取一些措施对缺失数据进行填补。例如,对于缺失纳税人、行业或税务机关的记录,补填一个“未知纳税人”“未知行业”或“未知税务机关”对应的编码,便于日后的关联查询;对于一些明显的数据错误予以纠正,比如超大的日期、错误的名称等。当遇到这些情况,而原业务系统又不便于修正时,就需要在数据仓库中进行修正,并记录在元数据中。