知识卡片
数据质量的九项标准
数据质量管理回答“质量现状如何,谁来改进,如何提高,怎样考核”。根据劣质数据分析业务、指导决策,不如没有数据,因为会带来“精确的误导”。
根源在管理:信息系统多由外部供应商在不同时期按不同标准(甚至只按当时 IT 人员自己的“标准”)建设,导致大量重复数据、脏数据和口径不一的数据。技术和流程只是表象,所以不能指望买一个工具解决,要从业务、管理、技术多方面入手。
九项通用质量标准:
| 标准 | 含义 | 例子 |
|---|---|---|
| 准确性 | 与客观实体特征一致 | 住址是否准确,英文字段是否乱码 |
| 完整性 | 无缺失记录或字段 | 字段不能为 null |
| 一致性 | 同一属性在不同系统中一致 | A 系统男=1、B 系统男=M |
| 有效性 | 满足取值范围或定义条件 | 年龄 0~200;币种代码 |
| 唯一性 | 无重复记录 | 身份证号、学号 |
| 及时性 | 产生与供应及时 | 凌晨 2 点前入 ODS |
| 稳定性 | 波动在有效范围 | 合格率波动不超过 20% |
| 连续性 | 编号连续 | 环保违法案件编号 |
| 合理性 | 字段间逻辑合理 | 注销晚于注册,死亡晚于出生 |
这些规则可按业务扩展,如交叉表校验。
管理闭环:用评估标准和工具全量或抽样扫描,形成质量报告;针对问题选择办法(入中心时清洗、源头录入把控、建模审核、多源比对自动更正);把每个问题落实到责任人并建立考核,追踪效果、持续优化;沉淀问题解决知识库(许多问题有共性,如输入框未限定格式)。仅有工具远远不够,组织架构和制度流程必须参与。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 数据资产管理
- · 跨章综合
- · 发散与实践
原书出处 · 1 处
- 第7章 数据资产管理 · 查看原书依据
这些数据质量问题产生的原因,从本质上来说,还是管理不善,技术和流程只是其表象。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第07章《第7章 数据资产管理》7.6.5 数据质量管理(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0042.xhtml,来源项目 book-sources)
- 结论依据:7.6.5节说明数据质量管理要解决的问题和“精确的误导”,指出质量问题根源是管理不善,列出准确性等九项质量标准及示例,并给出扫描评估、制定方案、认责追踪、沉淀知识库的管理闭环。
- 原始内容:这些数据质量问题产生的原因,从本质上来说,还是管理不善,技术和流程只是其表象。