知识卡片
并行度受键的多样性限制
MapReduce 的加速来自“把计算搬到数据所在机器”:每台机器只对自己持有的分片跑 mapper,不必先把数据集中到一处,产出的键/值对再按同键同机规则送给 reducer,各 reducer 之间不通信。理想情况下机器翻倍、每台工作量减半、耗时约减半,剩下的固定成本是调度与数据传输。但这个结论有前提:不同键的数量要足够多。若某个键出现次数远超其他(例如全表只有一个分组键),它的所有值都必须落到同一台 reducer 上,这台机器成为瓶颈,其他机器即使空闲也无法分担,加机器不再有效。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 MapReduce · 查看原书依据
如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本)我们的计算速度应该会大约快两倍。每台 mapper 机器只需做一半的工作,(假设有足够多不同键来进一步分配 reducer 工作)reducer 机器也一样。
参考来源
- 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本……」
- 原始内容:如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本)我们的计算速度应该会大约快两倍。每台 mapper 机器只需做一半的工作,(假设有足够多不同键来进一步分配 reducer 工作)reducer 机器也一样。