知识卡片
分布式单体的依赖冲突
单体(Informatica 等老供应商、Spark):易于推理、认知负担低、上下文切换少,只需处理“一个”技术和通常一种主要语言。缺点:
- 脆弱,更新和发布慢且繁琐,一个错误可能损害整个系统;
- 作者见过一条单向 ETL 管道要跑 48 小时,任何一处失败就得从头再来,业务用户的报告本来就晚两天、实际更晚,失败太频繁,最终该单体被抛弃;
- 多租户隔离难:本地数仓中一个用户定义函数可能耗尽 CPU 拖慢所有人,依赖与资源争用冲突常见;
- 供应商倒闭或开源项目夭折时,迁移极其痛苦昂贵。
模块化:随微服务流行(贝索斯 API 指令;“两个比萨”原则——团队最多约 5 人,限制职责和代码库复杂度)。组件可替换,可以多语言并存(Java 服务换成 Python 服务,调用方只关心 API)。数据处理通过标准格式走向模块化:数据湖或湖仓的对象存储中用 Parquet 等标准格式,任何支持该格式的工具都能读写;云数仓通过外部表直接查询湖中数据。作者认为模块化是更强大的范式,能为每一步选最佳技术、随技术变化更换工具。缺点是要理解和运维无数系统,互操作性成为难题,编排成为把各模块绑在一起的黏合剂(编排 5~10 个系统比编排一个复杂得多)。
分布式单体:系统是分布式的,但服务和节点共享一套依赖或代码库,兼有单体的局限。
- 传统 Hadoop 集群同时托管 Hive、Pig、Spark,共享 Hadoop 公共库、HDFS、YARN 和 Java,实践中每个组件通常只有一个版本;为所有用户和作业管理公共环境,强制升级依赖可能破坏现有任务,维护两个版本又增加复杂性;
- 基于 Python 的 Airflow 虽高度解耦、异步,但任何执行器都可能执行任何任务,单个任务需要的客户端库必须装在整个集群上,编排许多工具要装大量 API 客户端库,依赖冲突持续存在。
两种解法:在云上用临时基础设施,每个作业有自己临时的服务器或集群(如 EMR、Dataproc 跑 Spark),各集群仍是单体但作业分离大幅减少冲突;或用容器把分布式单体拆成多个软件环境。
作者的建议:单体易懂、复杂度低,但代价高——灵活性丧失、机会成本、开发中持续的冲突;评估时看互操作性、避免“进去容易出来难”的陷阱、保持灵活性和决策可逆。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 根据数据生命周期选择技术 · 查看原书依据
任何执行者都可以执行任何任务,因此在一个DAG中运行单个任务的客户端库必须安装在整个集群上。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第04章《第4章 根据数据生命周期选择技术》4.8 单体与模块化;4.8.1~4.8.4(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0009.xhtml,来源项目 book-sources)
- 结论依据:4.8.1节说明单体的优点与脆弱、48小时ETL重跑、多租户隔离和迁移痛苦等缺点;4.8.2节说明模块化与两个比萨原则、标准格式带来的互操作及编排作为黏合剂;4.8.3节以Hadoop集群和Airflow说明分布式单体的共享依赖问题及临时基础设施、容器两种解法;4.8.4节给出评估建议。
- 原始内容:任何执行者都可以执行任何任务,因此在一个DAG中运行单个任务的客户端库必须安装在整个集群上。