知识卡片

普通读书笔记卡 · 9783.b · 生成模型:DeepSeek-V4.1-Flash

按键重分配是瓶颈

理解等级:高级

三步中只有中间一步必须跨机器:mapper 的输出要按最终的键重新分区,保证同一个键的所有值都落到同一台 reducer。这一过程要把海量键/值对经网络搬运、按目标重排并落盘,数据量常常数倍于原始输入,耗时也常超过各机器本地计算,因此它是整个作业的瓶颈(通常称为 shuffle)。判断作业为什么慢,应先看中间数据的规模与键的分布,而不是先优化 mapper 或 reducer 的代码。由此也能推出优化方向:减少 mapper 输出的条数与体积、让键分布更均匀,往往比微调函数实现有效得多。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      让每一台机器在其文档上运行 mapper 函数,产生大量的键/值对。 把那些键/值对分配到一些“reducing”机器上,确保对应任何一个给定键的对在同一机器上完成运行。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「让每一台机器在其文档上运行 mapper 函数,产生大量的键/值对……」 - 原始内容:让每一台机器在其文档上运行 mapper 函数,产生大量的键/值对。 把那些键/值对分配到一些“reducing”机器上,确保对应任何一个给定键的对在同一机器上完成运行。