知识卡片
统一编程模型的存在理由:计算引擎迁移成本
一条完整的数据管道通常同时依赖批处理和实时两条链路(呼应[[Lambda Architecture:批处理层+流式处理层+服务层的互补设计]]的设计),而”计算引擎”这一层恰恰是大数据技术栈里发展最快、更新最频繁的一层——从最早的MapReduce,到Storm,再到能同时支持批流的Spark/Flink/Apex,新引擎不断带来更好的性能和更丰富的功能。但引擎迭代速度快也是一把双刃剑:不同计算引擎的API互不兼容,业务想从一种引擎(如MapReduce)迁移到另一种(如Spark)时,往往要把所有业务逻辑推倒重写——ETL这个计算单元如果直接绑死在某个具体分布式计算引擎的API上,就构成了整条数据管道里最脆弱的”伸缩性”隐患。统一编程模型的解法是在业务逻辑和具体执行引擎之间插入一层与引擎无关的高级API:一方面提炼出一套统一的编程范式来规范数据处理需求(数据怎么表示、过滤/投影/聚集/排序这些操作怎么表达),另一方面让这套范式产出的处理逻辑能够被翻译到多种不同的分布式执行引擎上运行——目标是降低切换底层引擎时的业务逻辑改动;实际迁移仍取决于目标Runner对变换、数据源和执行语义的支持,不能保证零修改。这类模型又可再分两派:只统一各种批处理引擎的(如Cascading、Apache Crunch),以及进一步统一批处理与流式处理引擎的(如Apache Beam)。可迁移启发:当某一层技术栈的迭代速度明显快于上层业务逻辑的稳定周期时,在两者之间插入一层与具体实现无关的抽象接口,用适配层降低未来底层技术演进时反复改写业务代码的范围,这是应对”底层技术迭代快、上层逻辑求稳定”这类矛盾的通用解法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》之"15.1 产生背景"(源文件:_epub-src/OEBPS/text00118.html)
- 结论依据:原文说明"新的分布式计算引擎带来更优的性能和更丰富的功能,但也给用户带来了高昂的迁移成本。由于不同计算引擎之间的API是不兼容的,当用户将数据管道从一种计算引擎(比如MapReduce)迁移到另一种(比如Spark)时,往往需要重写所有的业务逻辑……统一编程模型的设计思路包括两个方面:首先,需要一个统一的编程范式……其次,生成的分布式数据处理逻辑单元应该能够在各种分布式执行引擎上执行", 直接支撑本卡关于统一编程模型存在理由的结论。
- 原始内容:为了降低计算引擎迁移成本,大数据统一编程模型出现了。它意在构建一套与具体分布式计算引擎无关的API。