主题 / 偏斜拖垮并行 知识卡片偏斜拖垮并行专业/工作 内容分布式批处理的耗时常由最慢任务决定。热门键或不均匀数据会让某些 reducer 处理远多于其他节点,形成长尾。采样、拆分热点键、两阶段聚合等手段,本质上是在保护并行度不被数据分布击穿。 参考来源《数据密集型应用系统设计》第10章《批处理》 ← 上一张卡片Unix哲学的三个设计原则:统一接口、逻辑布线分离与透明实验 下一张卡片 →MapReduce与HDFS:无共享架构及计算贴近数据原则