返回主题:数据质量与校验

知识卡片

结构图卡 · 2777.a

数据清洗六项内容

理解等级:未标注

数据质量校验发现问题后,进入清洗转换环节,主要包含六项工作。纠正错误:处理数据值、类型、编码、格式、异常、依赖冲突、多值等错误,根源通常是业务系统入库阶段校验规则不完善。删除重复项:核心思路是”排序+计算相似度”,但对重复数据不能轻易删除,尤其不能把有业务意义的数据当垃圾过滤掉,需业务确认后再处理。统一规格:把同一数据对象在名称、类型、单位、格式、长度、小数位数、计数方法、缩写规则、值域、约束等方面的差异消除,这一步必须有业务部门参与确认。修正逻辑:解决不同数据源对同一对象统计口径不同导致的矛盾(如订单数量因统计逻辑不同而冲突),先摸清各系统逻辑差异再统一修正规则,而不是各自为政。转换构造:包括数据类型转换、语义转换(如把维度表编码1/2/3还原成业务含义)、粒度转换(业务系统明细数据聚合成数据仓库所需粒度)、表拆分、行列转置、离散化、标准化、提炼新字段、构造属性(如给训练/测试/验证集打标)等。数据压缩:通过聚合、维度约减、数据块消减、有损/无损压缩等手段减小数据规模,既提升计算效率也降低存储成本。六项工作层层递进:先纠错去重,再统一口径和规格,最后转换压缩成适合下游计算的形态。

结构图:

flowchart TB
  A["数据清洗六项内容"]
  A --> B["纠正错误:值/类型/编码/格式/异常/依赖冲突"]
  A --> C["删除重复项:排序+相似度计算,慎删有业务意义数据"]
  A --> D["统一规格:名称/类型/单位/格式/长度等口径统一"]
  A --> E["修正逻辑:厘清多源统计口径差异再统一"]
  A --> F["转换构造:类型/语义/粒度转换+拆分+离散化+构造新字段"]
  A --> G["数据压缩:聚合/维度约减/有损无损压缩"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第8章《大数据工作流》"8.2.2 清洗转换"(源文件:_epub-src/OEBPS/text00109.html) - 结论依据:原文说明"数据清洗的主要作用包括纠正错误、删除重复项、统一规格、修正逻辑、转换构造和数据压缩",并逐一展开每项的具体内容和方法,直接支撑本卡结构图。 - 原始内容:数据清洗的主要作用包括纠正错误、删除重复项、统一规格、修正逻辑、转换构造和数据压缩……对于重复的数据项,应尽量经过业务确认并进行整理提取出规则……在清洗转换阶段,对于重复数据项尽量不要轻易做出删除决策