返回主题:数据治理与生命周期

知识卡片

普通读书笔记卡 · 2280.h.1.a.7.e

建模血缘与数据销毁

理解等级:中级

数据建模与设计:把数据变成可用形式的过程,不只是 DBA 和 ETL 开发者的事——固件工程师定义 IoT 记录格式、Web 开发者设计 API 的 JSON 响应或 MySQL 表结构,都是数据建模。新数据源让建模更难(严格规范化不适用于事件数据),但新工具在增加灵活性的同时保留度量、维度、属性、层次的逻辑分离,云数仓仍支持 Kimball、Inmon、Data Vault。面对各种数据就放弃建模是“可怕的想法”,后果是一次写入、永不读取(WORN)和数据沼泽。

数据血缘:数据在生命周期中的审计跟踪,记录处理它的系统和依赖的上游数据,帮助错误跟踪、问责、调试和合规——比如用户要求删除自己的数据,血缘能告诉你数据存在哪里、有哪些依赖。Andy Petrella 的数据可观测性驱动开发(DODD)与血缘密切相关。

数据集成和互操作性:从单一栈转向异构云环境后,集成越来越通过通用 API 而不是自定义数据库连接完成(从 Salesforce API 取数→存 S3→调 Snowflake API 加载和查询→结果导出给 Spark)。与单个系统交互变简单了,但系统数量和管道复杂度急剧上升,很快就超出自定义脚本的能力,需要编排。

数据生命周期管理:数据湖鼓励忽视归档与销毁(“存储无限,为什么要删?”),两个变化让工程师关注生命周期的末端:

  1. 云上即付即得的存储成本让每个字节都出现在月度账单上,CFO 看到节省机会;云厂商的归档存储类极便宜(取回不便宜),并可设策略防止意外或故意删除;
  2. GDPR、CCPA 等法律要求尊重“被遗忘权”,数据工程师必须知道保留了哪些消费者数据,并有销毁程序。云数仓中用 SQL DELETE ... WHERE 很简单;数据湖默认一次写入多次读取,销毁更难,可借助 Hive ACID、Delta Lake。

道德与隐私:道德行为就是在没人注视时做正确的事,“因为总有一天每个人都会关注”。数据工程师要确保数据集屏蔽 PII 等敏感信息,在转换时识别和跟踪偏见,确保符合 GDPR、CCPA 等日益增多的法规。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.2.2 数据管理·数据建模与设计;数据血缘;数据集成和互操作性;数据生命周期管理;道德与隐私(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.2.2节分述数据建模与设计(建模无处不在、放弃建模导致WORN与数据沼泽)、数据血缘与DODD、通过API的数据集成与对编排的需求、数据生命周期管理的两个驱动(云账单与被遗忘权)及数据湖销毁难点,以及道德与隐私。 - 原始内容:数据湖的出现鼓励组织忽视数据归档和销毁。