知识卡片

数据流引擎少落盘

专业/工作

内容

MapReduce 每轮之间常把中间结果落盘,简单可靠但开销大。数据流引擎把多个算子组成执行图,能避免不必要的物化,并用检查点和血缘重算保障容错。它延续批处理思想,但让执行计划更接近声明式优化。

参考来源

《数据密集型应用系统设计》第10章《批处理》