知识卡片
Spark Shuffle:从哈希实现到排序实现的扩展性改进
Spark Shuffle分三步:Shuffle Write(一批任务把中间结果按分区写到本地磁盘)→Shuffle Read(下一阶段任务远程拉取属于自己的那部分数据)→aggregate(按key把拉取来的数据聚集起来送入用户函数)。这条链路的核心扩展性问题出在Shuffle Write的实现方式上,Spark经历了一次和MapReduce类似的架构教训。最初的哈希实现:每个Executor的每个core,为Shuffle Read端的每个任务各生成一个文件——若有K个同时写入的core、Read端启动R个任务,文件数随K×R增长;原书把C定义为Executor数却直接写C×R,漏算每个Executor的core数,公式不能直接套用。文件膨胀带来两个后果:海量小文件意味着海量随机写、写性能低下,还可能耗光操作系统的文件句柄/Inode资源;同时早期哈希实现的每个并行写入core需为R个Read分区保留缓冲;按书中32KB示例,单个写入core约为R×32KB,应用总量还取决于并发写入core数K和实现细节,不能把R×32KB当作全应用总量。为了解决这个问题,Spark从1.2版本起借鉴MapReduce的Shuffle思路(Map端先写环形内存缓冲区、满后按分区+key排序再落盘临时文件、最后合并成一个大文件+索引文件),改为排序实现作为默认方案——区别只是Spark落盘前只按分区编号排序(不必像MapReduce那样再按key排序一次),其余流程基本一致,从而把”文件数量随K×R增长”的问题收敛成”每个Task只产生一个合并后的文件”。可迁移启发:这是本书里第二次出现”任务数×任务数导致小文件数量组合爆炸”这个具体教训([[Map Task结果落本地磁盘:两个反直觉的设计问题]]中MapReduce里Map Task最终只产生一个文件的设计也是同样考虑)——任何多对多的数据交换场景,都应该优先设计成”先局部合并成少量大文件、消费者按需拉取所需片段”,而不是让生产者直接按消费者数量各生成一份小文件。
结构图:
flowchart TB
A["Spark Shuffle Write两种实现"]
A --> H["哈希实现(早期版本)<br/>每Executor每core为每个Read端任务生成一个文件<br/>约K×R个文件(K为并发写入core数)→小文件与缓冲区总量随K、R变化"]
A --> S["排序实现(1.2版本后默认,借鉴MapReduce)<br/>环形缓冲区→按分区排序落盘临时文件→合并成一个文件+索引<br/>文件数收敛,不再随K×R膨胀"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。