返回主题:Spark内核执行机制

知识卡片

结构图卡 · 2852.f.1.a.1

Spark Shuffle:从哈希实现到排序实现的扩展性改进

理解等级:未标注

Spark Shuffle分三步:Shuffle Write(一批任务把中间结果按分区写到本地磁盘)→Shuffle Read(下一阶段任务远程拉取属于自己的那部分数据)→aggregate(按key把拉取来的数据聚集起来送入用户函数)。这条链路的核心扩展性问题出在Shuffle Write的实现方式上,Spark经历了一次和MapReduce类似的架构教训。最初的哈希实现:每个Executor的每个core,为Shuffle Read端的每个任务各生成一个文件——若有K个同时写入的core、Read端启动R个任务,文件数随K×R增长;原书把C定义为Executor数却直接写C×R,漏算每个Executor的core数,公式不能直接套用。文件膨胀带来两个后果:海量小文件意味着海量随机写、写性能低下,还可能耗光操作系统的文件句柄/Inode资源;同时早期哈希实现的每个并行写入core需为R个Read分区保留缓冲;按书中32KB示例,单个写入core约为R×32KB,应用总量还取决于并发写入core数K和实现细节,不能把R×32KB当作全应用总量。为了解决这个问题,Spark从1.2版本起借鉴MapReduce的Shuffle思路(Map端先写环形内存缓冲区、满后按分区+key排序再落盘临时文件、最后合并成一个大文件+索引文件),改为排序实现作为默认方案——区别只是Spark落盘前只按分区编号排序(不必像MapReduce那样再按key排序一次),其余流程基本一致,从而把”文件数量随K×R增长”的问题收敛成”每个Task只产生一个合并后的文件”。可迁移启发:这是本书里第二次出现”任务数×任务数导致小文件数量组合爆炸”这个具体教训([[Map Task结果落本地磁盘:两个反直觉的设计问题]]中MapReduce里Map Task最终只产生一个文件的设计也是同样考虑)——任何多对多的数据交换场景,都应该优先设计成”先局部合并成少量大文件、消费者按需拉取所需片段”,而不是让生产者直接按消费者数量各生成一份小文件。

结构图:

flowchart TB
  A["Spark Shuffle Write两种实现"]
  A --> H["哈希实现(早期版本)<br/>每Executor每core为每个Read端任务生成一个文件<br/>约K×R个文件(K为并发写入core数)→小文件与缓冲区总量随K、R变化"]
  A --> S["排序实现(1.2版本后默认,借鉴MapReduce)<br/>环形缓冲区→按分区排序落盘临时文件→合并成一个文件+索引<br/>文件数收敛,不再随K×R膨胀"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.5.2 Spark Shuffle"(源文件:_epub-src/OEBPS/text00091.html) - 结论依据:原文说明"基于哈希的实现是Spark第一个Shuffle实现版本……如果一个应用程序共启动了C个Executor,且shuffle Read端启动R个ResultTask任务,则该应用程序共产生C*R个临时文件……大量小文件会意味着大量随机写,性能低下……为了克服基于哈希的Shuffle实现存在的扩展性差的问题,Spark借鉴MapReduce框架,引入了基于排序的Shuffle实现……在Spark中,数据缓冲区满后,只会按照Partition编号排序(无需再次按照key排序),除此之外,整个流程与MapReduce基本一致", 支撑两种Shuffle实现的取舍;其中 C*R 与同节“每个core生成R个文件”不一致,本卡改用写入core数 K 表达数量关系。 - 原始内容:从Spark 1.2版本开始,基于排序的实现变为默认的Shuffle实现。