知识卡片

偏斜拖垮并行

专业/工作

内容

分布式批处理的耗时常由最慢任务决定。热门键或不均匀数据会让某些 reducer 处理远多于其他节点,形成长尾。采样、拆分热点键、两阶段聚合等手段,本质上是在保护并行度不被数据分布击穿。

参考来源

《数据密集型应用系统设计》第10章《批处理》