知识卡片
Spark对MR的三点改进
面对 TB、PB 乃至 EB 级数据,传统做法是把数据导入专门分析工具,但会遇到两个问题:数据很大时仅移动数据就要很久;单机或难以扩容的工具处理海量数据太慢。因此需要成本低廉、可水平扩容、分而治之的计算方式。
MapReduce(源自 Google 论文)把大数据集分解为小数据集分发到集群节点。Hadoop 将输入划分为等长的输入分片,每个分片一个 Map 任务;Map 输出按 Reduce 任务数分区并排序;Reduce 任务从所有 Map 任务拉取数据并合并,这段数据流称为混洗(Shuffle);Reduce 输出通常存到 HDFS 以可靠存储。
MapReduce 的设计限制使其性能较弱,真正发展起来的替代者是 Spark。Spark 把数据抽象为 RDD、DataFrame 这类分布式内存抽象,允许在集群上做基于内存的计算,大幅减少迭代计算的开销。相对 MapReduce 的三点优势:
- 执行模型:抽象为通用的有向无环图(DAG)执行计划,多个 Stage 可串联或并行,中间结果不必写到 HDFS。
- 数据格式与内存布局:RDD 支持粗粒度写操作,读操作可精确到每条记录,因此可用作分布式索引。
- 执行策略:MapReduce 在混洗前花大量时间排序;Spark 支持基于 Hash 的分布式聚合,每轮输出可缓存在内存中。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据开发:数据价值提炼工厂 · 查看原书依据
Spark将执行模型抽象为通用的有向无环图(DAG)执行计划,这可以将多个Stage串联或者并行执行,而无须将Stage的中间结果输出到HDFS中。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.1.1 批计算(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0026.xhtml,来源项目 book-sources)
- 结论依据:5.1.1节说明大数据批计算需要分而治之的原因,描述MapReduce的输入分片、Map、分区排序、Shuffle和Reduce流程,并从执行模型、数据格式与内存布局、执行策略三方面比较Spark的优势。
- 原始内容:Spark将执行模型抽象为通用的有向无环图(DAG)执行计划,这可以将多个Stage串联或者并行执行,而无须将Stage的中间结果输出到HDFS中。