知识卡片

结构图卡 · 2824.e.1

MapReduce的四大局限与Spark的针对性设计

理解等级:未标注

Spark不是凭空出现的新范式,而是精确针对MapReduce四类具体痛点逐条给出解法的产物。局限一:编程接口过于低层,仅有Map/Reduce两种操作,一个典型SQL要拆成2-5个MapReduce作业——Spark提供丰富的高层算子(sortByKey、groupByKey、cartesian等),可减少手写多阶段处理与样板代码;书中提到的代码量倍数未给出可迁移的测试条件,不作通用保证。局限二:处理效率低——任务启动开销大(每任务起一个JVM,用完释放不复用)、无法利用内存(2004年内存昂贵磁盘便宜,MapReduce设计基于磁盘)、Map/Reduce两端都强制排序(不需要排序的场景白白多一层开销)、复杂SQL拆成的多个作业之间要通过HDFS交换数据(磁盘+网络IO大)——Spark用内存计算引擎(RDD可选存内存/磁盘/混合)+通用DAG引擎(不同计算单元通过本地磁盘或内存交换数据而非借助HDFS)+资源可重用的线程池Executor(避免每任务起JVM)来逐条对冲。局限三:不适合迭代式(机器学习)和交互式计算——因为MapReduce追求高吞吐但基于磁盘、每轮迭代都要落盘重读,Spark的内存持久化让被多次复用的中间数据只需算一次。局限四:编程不够灵活——过于简单苛刻的Map/Reduce模型很难直观表达迭代算法,Spark的DAG模型允许在一个应用程序里表达多阶段计算图,但具体算子与运行限制仍需核对。可迁移启发:评估一个”下一代”系统是否真的构成对上一代的实质性改进,可以像这样把新系统的每个特性对照回旧系统的一个具体痛点,逐一验证是否真的对症下药,而不是止于”更快更好”这类空泛描述。

结构图:

flowchart LR
  A["MapReduce四大局限"]
  A --> L1["接口过低层<br/>仅Map/Reduce两种操作"]
  A --> L2["处理效率低<br/>启动开销大/不利用内存/强制排序/多作业间靠HDFS交换数据"]
  A --> L3["不适合迭代式/交互式计算<br/>(基于磁盘,每轮迭代重新落盘)"]
  A --> L4["编程不灵活<br/>模型过简单,难表达复杂算法"]
  L1 --> S1["Spark:丰富高层算子(sortByKey/groupByKey等)"]
  L2 --> S2["Spark:内存计算引擎(RDD)+通用DAG引擎+可复用线程池Executor"]
  L3 --> S3["Spark:RDD持久化,避免重复落盘读取"]
  L4 --> S4["Spark:DAG可表达任意复杂计算图"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.1 概述"(源文件:_epub-src/OEBPS/text00087.html) - 结论依据:原文说明"MapReduce提供的编程接口过于低层次……一个典型的SQL……可能需要转换成2~5个MapReduce作业进行处理……任务调度和启动开销大……无法充分利用内存……Map端和Reduce端均需要排序……复杂功能磁盘IO开销大……MapReduce是一种基于磁盘的分布式计算框架……这使得它不适合迭代式……和交互式计算……Spark提供了丰富的高层次API……相比于MapReduce这种简单的两阶段计算引擎,Spark则是一种更加通用的DAG引擎", 直接支撑本卡关于四大局限与对应设计的结构图。 - 原始内容:据有关测试结果表明,在相同资源消耗的情况下,Spark比MapReduce快几倍到几十倍(具体提升多少取决于应用程序的类型)。