知识卡片
并行度需要平衡粒度
Reducer太少可能使单节点带宽与内存紧张,太多又增加调度成本。PDE按数据量合并小分片,是降低任务碎片化的一种办法。并行度应随工作量和资源选择,不能以“任务越多越并行”推断更快。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 交互式数据分析 · 查看原书依据
Reduce任务的并发数对整体效率有明显的影响:如果Reducer数目太少,则运行Reducer的机器网络带宽以及内存都会比较紧张,有时会产生过载情形;如果Reducer数目太多,则任务调度花销过高。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在本章对并行度需要平衡粒度给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:Reduce任务的并发数对整体效率有明显的影响:如果Reducer数目太少,则运行Reducer的机器网络带宽以及内存都会比较紧张,有时会产生过载情形;如果Reducer数目太多,则任务调度花销过高。