知识卡片
数据流引擎少落盘
内容
MapReduce 每轮之间常把中间结果落盘,简单可靠但开销大。数据流引擎把多个算子组成执行图,能避免不必要的物化,并用检查点和血缘重算保障容错。它延续批处理思想,但让执行计划更接近声明式优化。
参考来源
《数据密集型应用系统设计》第10章《批处理》
知识卡片
MapReduce 每轮之间常把中间结果落盘,简单可靠但开销大。数据流引擎把多个算子组成执行图,能避免不必要的物化,并用检查点和血缘重算保障容错。它延续批处理思想,但让执行计划更接近声明式优化。