知识卡片
源系统底层设计清单
源系统通常不受数据工程师控制,人们隐含地“希望”上游遵循最佳实践。数据工程师应争取尽可能多的上游支持。按六个底层设计逐项检查:
- 安全:数据静止和传输中是否加密?走公网还是 VPN?源系统的密码、令牌、SSH 密钥要放进密钥管理器或用 SSO。信任但要验证源系统是合法的,不要成为恶意数据的接收方;
- 数据管理:上游数据由谁管理、质量如何保证;模式会变,争取提前获得模式变更通知;是否有主数据管理;隐私与保留策略;按法规你是否应该访问这些数据;
- DataOps:能否观察和监控源系统的运行时间和使用情况?例如 CDC 依赖的应用库超出 I/O 容量需要扩容时,你还能取数吗?报告会受什么影响?要点是自动化(源系统自动化出问题是否波及你的工作流,必要时解耦)、可观测性(监控上游可用性,检查数据是否符合下游期望)、事故响应(源系统离线时管道如何表现,恢复后如何回填“丢失”的数据);
- 数据架构:可靠性(平均修复时间)、持久性(硬件故障、区域脱机时数据如何保全)、可用性、人员(谁负责设计、如何得知破坏性变更,与源系统团队建立 SLA);
- 编排:数据按固定时间表提供还是随时可取?是否与应用团队共用 Kubernetes、Airflow——要在集成收益与紧耦合风险之间权衡;
- 软件工程:网络可达与安全;凭证不进代码和版本控制、IAM 角色正确;访问模式(分页、驱动兼容、重试和超时);与编排集成;并行访问的管理;变更的部署方式。
总结:数据工程师倾向于把源系统当作“别人的问题”——这很危险,滥用源系统的工程师可能要在生产事故后另找工作。与源系统团队建立双向沟通,主动沟通数据需求,并寻找机会共同建设面向用户的数据产品。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
数据工程师倾向于把源系统当作“别人的问题”——这样做会给你带来危险!
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.5 数据底层设计及其对源系统的影响(5.5.1–5.5.6);5.6 总结(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:5.5节逐一说明安全、数据管理、DataOps、数据架构、编排、软件工程六个底层设计对源系统的要求;5.6节总结不能把源系统当作别人的问题,应与源系统团队双向合作。
- 原始内容:数据工程师倾向于把源系统当作“别人的问题”——这样做会给你带来危险!