返回主题:DevOps落地与组织协作

知识卡片

普通读书笔记卡 · 2280.h.1.a.7.f

DataOps的三大支柱

理解等级:中级

DataOps 把敏捷、DevOps 和统计过程控制(SPC)的最佳实践映射到数据:DevOps 提高软件产品的发布与质量,DataOps 对数据产品做同样的事。数据产品围绕合理的业务逻辑和指标建立,用户据此决策或构建自动化模型。DataKitchen 的描述:一组技术实践、工作流、文化规范和架构模式,实现快速创新与实验、极高数据质量与极低错误率、跨复杂人员和技术协作、清晰的测量监控与透明。

首先是文化习惯:与业务沟通协作、打破孤岛、从成功和错误中持续学习、快速迭代——养成这些后才能从技术工具中得到最好结果。对已有项目,建议先从可观测性和监控开始,再加自动化和事件响应。

三大技术支柱:

  1. 自动化:变更管理(环境、代码、数据的版本控制)、CI/CD、配置即代码,并增加检查数据质量、数据或模型漂移、元数据完整性的维度。书中的演进示例:
    • 用 cron 调度多阶段转换→云实例出问题作业停跑、间隔变短后前一作业超时导致后续失败或产出陈旧数据,工程师从分析师处才得知报表过时;
    • 改用 Airflow 或 Dagster→运行前检查依赖,上游就绪即开始;
    • 数据科学家手工部署了坏 DAG 弄瘫 Airflow→改为自动化部署 DAG,部署前测试并监控新 DAG,验证 Python 依赖后才允许部署;
    • DataOps 宣言“拥抱变化”:每个阶段都还有改进空间(更好的元数据、根据血缘规范自动生成 DAG)。
  2. 可观测性和监控:“数据是一个无声的杀手”——坏数据可能在报表里存在数月甚至数年,管理层据此决策;或者系统悄悄停止工作,报表延迟数天,利益相关者对数据团队失去信任,自建分裂团队,导致不稳定系统、不一致报表和孤岛。要做好可观测性、监控、日志、告警、追踪,并用 SPC 判断哪些事件异常、值得响应;DODD 像软件中的 TDD,让价值链上每个人都能看到数据在各步骤的变化。
  3. 事件响应:用自动化与可观测性快速定位根因并解决;也包括开放、无责的沟通。数据工程师应在业务报告问题之前主动发现问题——用户发现问题时若看到团队已在处理,感受完全不同;信任建立很慢,失去只要几分钟。

与软件工程相比,数据工程的运营状态还很不成熟,许多传统工具不是自动化优先的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.2.3 DataOps(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.2.3节定义DataOps及数据产品,引用DataKitchen的描述,强调DataOps首先是文化并建议从可观测性和监控起步,阐述自动化(以cron到Airflow到自动化DAG部署的演进为例)、可观测性和监控(数据是无声的杀手、DODD)、事件响应三大支柱,并指出数据工程运营仍不成熟。 - 原始内容:正如我们告诉客户的那样,“数据是一个无声的杀手”。