知识卡片

普通读书笔记卡 · 9783.a · 生成模型:DeepSeek-V4.1-Flash

并行度受键的多样性限制

理解等级:高级

MapReduce 的加速来自“把计算搬到数据所在机器”:每台机器只对自己持有的分片跑 mapper,不必先把数据集中到一处,产出的键/值对再按同键同机规则送给 reducer,各 reducer 之间不通信。理想情况下机器翻倍、每台工作量减半、耗时约减半,剩下的固定成本是调度与数据传输。但这个结论有前提:不同键的数量要足够多。若某个键出现次数远超其他(例如全表只有一个分组键),它的所有值都必须落到同一台 reducer 上,这台机器成为瓶颈,其他机器即使空闲也无法分担,加机器不再有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本)我们的计算速度应该会大约快两倍。每台 mapper 机器只需做一半的工作,(假设有足够多不同键来进一步分配 reducer 工作)reducer 机器也一样。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本……」 - 原始内容:如果我们将机器的数量加倍,那么(忽略运行 MapReduce 系统的某些固定成本)我们的计算速度应该会大约快两倍。每台 mapper 机器只需做一半的工作,(假设有足够多不同键来进一步分配 reducer 工作)reducer 机器也一样。