知识卡片
MapReduce抽象
内容
MapReduce 的核心价值是把大规模计算拆成局部映射、按键重组和归约汇总，让任务失败可以重跑、数据可以并行移动。它重要的不是 API 形式，而是把分布式计算变成可组合的数据流。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》"6.5 MapReduce：一种大数据计算的范式"及"6.5.2 容错性"（源文件：_epub-src/OEBPS/Text/049.xhtml）
- 结论依据：原文明确"MapReduce计算也具有容错性……MapReduce监视这些错误，并自动在另一个节点上重试该部分的计算"，并说明"因为任务可以重试，所以MapReduce要求map和reduce方法是确定的"，同时强调"这些属性使得MapReduce成为批处理层预先计算算法需要的一种优秀范式，但它也是一类低层次的抽象"。
- 原始内容：这些属性使得MapReduce成为批处理层预先计算算法需要的一种优秀范式，但它也是一类低层次的抽象，它所表达的计算需要很大的工作量……MapReduce监视这些错误，并自动在另一个节点上重试该部分的计算……因为任务可以重试，所以MapReduce要求map和reduce方法是确定的。