知识卡片

普通读书笔记卡 · 2280.q.13

谱系重算与确定性

理解等级:未标注

[[数据流引擎的算子]]提升了性能,也改变了容错方式。MapReduce 把中间状态物化到 HDFS,任务失败时重读输入即可。Spark、Flink、Tez 避免落盘,中间状态丢失时从仍可用的上游数据重新计算,因此要记录数据由哪些输入分区经哪些算子算出,如 Spark 的 RDD。前提是算子确定:相同输入总产生相同输出。随机数、系统时钟等都会破坏确定性,重算结果与下游已收数据不一致时,只能连带重跑下游。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"容错"(源文件:_epub-src/ch10_split_004.html) - 结论依据:原文对比MapReduce依赖HDFS物化实现容错与数据流引擎依赖谱系重算实现容错的差异,并说明重算依赖算子确定性、列举非确定性行为的常见来源及其导致的级联故障问题,直接支撑本卡片结论。 - 原始内容:如果一台机器发生故障,并且该机器上的中间状态丢失,则它会从其他仍然可用的数据重新计算……重要的是要知道计算是否是确定性的……为了能可靠地从故障中恢复,需要消除这种不确定性因素