数据质量六维度
数据进入处理环节的第一步是质量校验,需要从六个维度衡量。完整性:数据值本身不缺失(记录不丢、字段不空),以及数据库约束层面的完整(实体、参照、域、用户自定义完整性),后者只对关系型数据库成立,NoSQL因面向集合、模式自由而不适用。一致性:同一实体在不同库表间的值必须相同,常见的破坏原因是更新延时、并发控制不当、客观故障、不同系统抽取逻辑不同。及时性:数据满足业务响应时间的程度,本质是”业务期望时间”与”数据处理耗时”之间的矛盾,实时数据要求秒级响应,历史数据则受限于海量提取耗时。有效性:数据是否符合应用需求,例如做留存分析却缺失启动时间戳字段,字段存在但75%为空,都属于有效性低。准确性:受采集准确性、处理准确性(抽样规则、异常处理、模型调参)、应用准确性(指标算法的正确理解,例如用销售额除订单量算不出客单价)三方面共同影响。真实性:来源真实、结果真实、解读真实三者缺一不可,是数据工作的底线,故意夸大某部门促销贡献就属于违反解读真实性。六个维度环环相扣:完整性和一致性是数据能不能用的基础,及时性和有效性是数据好不好用的门槛,准确性和真实性则是数据结果能否被信任的底线。
结构图:
flowchart TB
A["数据质量校验六维度"]
A --> B["完整性:值/记录不缺失+数据库约束"]
A --> C["一致性:多库表同一实体值相同"]
A --> D["及时性:业务期望时间vs处理耗时的矛盾"]
A --> E["有效性:是否符合应用需求"]
A --> F["准确性:采集/处理/应用三环节共同决定"]
A --> G["真实性:来源/结果/解读三者皆真,是工作底线"]