知识卡片
任务重试依赖确定计算
MapReduce把失败部分移到其他节点重试。若相同输入产生不同输出,重试就不再只是恢复同一次逻辑计算。因此map和reduce应满足确定性;需要随机数时,应控制随机生成过程,使重放仍对应相同结果。确定性约束的是计算结果,不意味着任何外部副作用都能随意重试。
与[[MapReduce抽象]]的联系:失败重跑仍需确定性保证相同输入对应相同计算。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
这意味着给定相同的输入,方法必须生成相同的输出。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/049.xhtml)
- 结论依据:原文把任务重试与确定性直接连接,并以随机数作为反例。
- 原始内容:这意味着给定相同的输入,方法必须生成相同的输出。