知识卡片

普通读书笔记卡 · 1786.b.3

任务重试依赖确定计算

理解等级:中级

MapReduce把失败部分移到其他节点重试。若相同输入产生不同输出,重试就不再只是恢复同一次逻辑计算。因此map和reduce应满足确定性;需要随机数时,应控制随机生成过程,使重放仍对应相同结果。确定性约束的是计算结果,不意味着任何外部副作用都能随意重试。

与[[MapReduce抽象]]的联系:失败重跑仍需确定性保证相同输入对应相同计算。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/049.xhtml) - 结论依据:原文把任务重试与确定性直接连接,并以随机数作为反例。 - 原始内容:这意味着给定相同的输入,方法必须生成相同的输出。