← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1778.a.2

并行度需要平衡粒度

理解等级:中级

Reducer太少可能使单节点带宽与内存紧张,太多又增加调度成本。PDE按数据量合并小分片,是降低任务碎片化的一种办法。并行度应随工作量和资源选择,不能以“任务越多越并行”推断更快。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 交互式数据分析 · 查看原书依据

      Reduce任务的并发数对整体效率有明显的影响:如果Reducer数目太少,则运行Reducer的机器网络带宽以及内存都会比较紧张,有时会产生过载情形;如果Reducer数目太多,则任务调度花销过高。

    参考来源

    - 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html) - 结论依据:原文在本章对并行度需要平衡粒度给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:Reduce任务的并发数对整体效率有明显的影响:如果Reducer数目太少,则运行Reducer的机器网络带宽以及内存都会比较紧张,有时会产生过载情形;如果Reducer数目太多,则任务调度花销过高。