知识卡片

普通读书笔记卡 · 2777.k

数据质量的九项标准

理解等级:中级

数据质量管理回答“质量现状如何,谁来改进,如何提高,怎样考核”。根据劣质数据分析业务、指导决策,不如没有数据,因为会带来“精确的误导”。

根源在管理:信息系统多由外部供应商在不同时期按不同标准(甚至只按当时 IT 人员自己的“标准”)建设,导致大量重复数据、脏数据和口径不一的数据。技术和流程只是表象,所以不能指望买一个工具解决,要从业务、管理、技术多方面入手。

九项通用质量标准:

标准 含义 例子
准确性 与客观实体特征一致 住址是否准确,英文字段是否乱码
完整性 无缺失记录或字段 字段不能为 null
一致性 同一属性在不同系统中一致 A 系统男=1、B 系统男=M
有效性 满足取值范围或定义条件 年龄 0~200;币种代码
唯一性 无重复记录 身份证号、学号
及时性 产生与供应及时 凌晨 2 点前入 ODS
稳定性 波动在有效范围 合格率波动不超过 20%
连续性 编号连续 环保违法案件编号
合理性 字段间逻辑合理 注销晚于注册,死亡晚于出生

这些规则可按业务扩展,如交叉表校验。

管理闭环:用评估标准和工具全量或抽样扫描,形成质量报告;针对问题选择办法(入中心时清洗、源头录入把控、建模审核、多源比对自动更正);把每个问题落实到责任人并建立考核,追踪效果、持续优化;沉淀问题解决知识库(许多问题有共性,如输入框未限定格式)。仅有工具远远不够,组织架构和制度流程必须参与。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第07章《第7章 数据资产管理》7.6.5 数据质量管理(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0042.xhtml,来源项目 book-sources) - 结论依据:7.6.5节说明数据质量管理要解决的问题和“精确的误导”,指出质量问题根源是管理不善,列出准确性等九项质量标准及示例,并给出扫描评估、制定方案、认责追踪、沉淀知识库的管理闭环。 - 原始内容:这些数据质量问题产生的原因,从本质上来说,还是管理不善,技术和流程只是其表象。