知识卡片
与源系统签数据契约
作者经验:与源系统利益相关者的良好外交和关系,是成功的数据工程常被忽视的关键点。
两类上游利益相关者: - 系统利益相关者:建立和维护源系统的人(软件工程师、应用开发者、第三方); - 数据利益相关者:拥有并控制数据访问权的人(IT 部门、数据治理小组、第三方)。两者通常是不同的人或团队,有时也相同。
建立反馈途径:让源系统团队意识到数据如何被消费和使用;当上游发生模式或数据变更、服务器或数据库故障时,你要能意识到这些问题对数据工程系统的影响。
数据契约(James Denmore 的定义):源系统所有者与取数团队之间的书面协议,写明获取什么数据、用什么方法(全量、增量)、多长时间一次、谁是源系统和获取的联系人。契约应存放在 GitHub repo 或内部文档站等容易找到的地方,最好标准化格式,能集成进开发流程或以程序查询。
SLA 与 SLO:SLA 设定对源系统的期望(如“数据可靠且高质量”),SLO 据此衡量表现(如“99% 正常运行时间”)。若这些显得太正式,至少口头设定对正常运行时间、数据质量等的期望——上游所有者需要了解你的要求,才能给你需要的数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
数据契约是源系统所有者和从该系统获取数据的团队之间的书面协议。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.4 你和谁一起工作(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:5.4节区分系统利益相关者和数据利益相关者,建议建立反馈途径,并介绍数据契约的内容与存放方式以及SLA/SLO的作用。
- 原始内容:数据契约是源系统所有者和从该系统获取数据的团队之间的书面协议。