← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1776

MapReduce边界

理解等级:未标注

MapReduce 把计算拆成 Map 局部处理、Shuffle 重分布和 Reduce 聚合,屏蔽容错与调度细节。它适合一次性批处理,却不适合强迭代、低延迟或复杂多阶段依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      MapReduce作为当前最典型的大数据批处理计算模型,已经在工业界获得了极为广泛的使用。Google的这篇发表于2004年的论文对整个大数据系统的发展具有至关重要的作用,其与2003年发表的GFS论文是催生Hadoop的直接范型。尽管2009年前后以Stone Braker为首的并行数据库领域专家对MR模型提出质疑并引发和Jaffrey Dean等人的技术争论,但是最终的结论是MR和MPP各自有优略且两者有一定互补和相互学习之处。与传统的MPP相比,MR更适合非结构化数据的ETL处理类操作,并且其可扩展性及容错性明显占优,但是单机处理效率较低。尽管MR提供了简洁的编程接口及完善的容错处理机制,使得大规模并发处理海量数据成为可能,但从发展趋势看, 相对复杂的任务转换为MR任务的开发效率还是不够高,所以其有逐步被封装到下层的趋势,即在上层系统提供更为简洁方便的应用开发接口,在底层由系统自动转换为大量的MR任务,这一点值得关注。

    • 大规模批处理系统 · 查看原书依据

      一般认为MapReduce的缺点包括:无高层抽象数据操作语言、数据无Schema及索引、单节点效率低下、任务流描述方法单一等。其中前两个缺点其实并不能认为是其真正的缺点,因为其设计初衷就是高吞吐、高容错的批处理系统,所以不包含这两个特性是很正常的。在目前的大数据处理架构范型下,试图构造满足所有类型应用各种不同特性要求的处理系统是不现实、也不明智的,最好的发展思路是对特定领域制定特定系统,这样可以在系统设计时充分强调领域特色的专用设计以使其效率达到最优,而不是去追求大而全但是各方面表现都平庸的系统。至于后两个缺点确实是客观存在的,对于任务流描述单一这个缺点,可以考虑将其拓展成更为通用的DAG计算模型来解决。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》"11.3 DAG计算模型"引言部分(源文件:_epub-src/OEBPS/text00016.html) - 结论依据:原文明确"MapReduce机制本质上是由Map和Reduce序列两阶段构成的……只有所有Map任务执行完成才能开始Reduce阶段的任务……MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力",且"其设计初衷就是高吞吐、高容错的批处理系统",说明其适用于一次性批处理而非复杂多阶段依赖。 - 原始内容:MapReduce机制本质上是由Map和Reduce序列两阶段构成的,之所以说是序列的,是因为尽管Map阶段和Reduce阶段都支持大规模并发,但是在Map阶段有个任务同步过程,只有所有Map任务执行完成才能开始Reduce阶段的任务……MapReduce对于子任务之间复杂的交互和依赖关系缺乏表达能力……其设计初衷就是高吞吐、高容错的批处理系统