知识卡片
谱系重算与确定性
[[数据流引擎的算子]]提升了性能,也改变了容错方式。MapReduce 把中间状态物化到 HDFS,任务失败时重读输入即可。Spark、Flink、Tez 避免落盘,中间状态丢失时从仍可用的上游数据重新计算,因此要记录数据由哪些输入分区经哪些算子算出,如 Spark 的 RDD。前提是算子确定:相同输入总产生相同输出。随机数、系统时钟等都会破坏确定性,重算结果与下游已收数据不一致时,只能连带重跑下游。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
如果一台机器发生故障,并且该机器上的中间状态丢失,则它会从其他仍然可用的数据重新计算
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"容错"(源文件:_epub-src/ch10_split_004.html)
- 结论依据:原文对比MapReduce依赖HDFS物化实现容错与数据流引擎依赖谱系重算实现容错的差异,并说明重算依赖算子确定性、列举非确定性行为的常见来源及其导致的级联故障问题,直接支撑本卡片结论。
- 原始内容:如果一台机器发生故障,并且该机器上的中间状态丢失,则它会从其他仍然可用的数据重新计算……重要的是要知道计算是否是确定性的……为了能可靠地从故障中恢复,需要消除这种不确定性因素