返回主题:学习范式与泛化边界

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

结构图卡 · 2777

数据质量六维度

理解等级:未标注

数据进入处理环节的第一步是质量校验,需要从六个维度衡量。完整性:数据值本身不缺失(记录不丢、字段不空),以及数据库约束层面的完整(实体、参照、域、用户自定义完整性),后者只对关系型数据库成立,NoSQL因面向集合、模式自由而不适用。一致性:同一实体在不同库表间的值必须相同,常见的破坏原因是更新延时、并发控制不当、客观故障、不同系统抽取逻辑不同。及时性:数据满足业务响应时间的程度,本质是”业务期望时间”与”数据处理耗时”之间的矛盾,实时数据要求秒级响应,历史数据则受限于海量提取耗时。有效性:数据是否符合应用需求,例如做留存分析却缺失启动时间戳字段,字段存在但75%为空,都属于有效性低。准确性:受采集准确性、处理准确性(抽样规则、异常处理、模型调参)、应用准确性(指标算法的正确理解,例如用销售额除订单量算不出客单价)三方面共同影响。真实性:来源真实、结果真实、解读真实三者缺一不可,是数据工作的底线,故意夸大某部门促销贡献就属于违反解读真实性。六个维度环环相扣:完整性和一致性是数据能不能用的基础,及时性和有效性是数据好不好用的门槛,准确性和真实性则是数据结果能否被信任的底线。

结构图:

flowchart TB
  A["数据质量校验六维度"]
  A --> B["完整性:值/记录不缺失+数据库约束"]
  A --> C["一致性:多库表同一实体值相同"]
  A --> D["及时性:业务期望时间vs处理耗时的矛盾"]
  A --> E["有效性:是否符合应用需求"]
  A --> F["准确性:采集/处理/应用三环节共同决定"]
  A --> G["真实性:来源/结果/解读三者皆真,是工作底线"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第8章《大数据工作流》"8.2.1 数据质量校验"(源文件:_epub-src/OEBPS/text00108.html) - 结论依据:原文说明"数据质量校验从完整性、一致性、及时性、有效性、准确性、真实性六个方面进行衡量",并逐一给出每个维度的定义、常见破坏原因和具体案例,直接支撑本卡结构图。 - 原始内容:数据质量校验从完整性、一致性、及时性、有效性、准确性、真实性六个方面进行衡量……数据真实性是数据工作的底线,主观上的造假行为不仅关系到工作的结果问题,还关系到个人信誉及品质问题