← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9783.c · 生成模型:DeepSeek-V4.1-Flash

组合器减少跨机传输

理解等级:中级

combiner 是在 mapper 所在机器上先做一次局部归约:同一台机器看到 500 个 (“data”, 1),就先合成一个 (“data”, 500) 再发出,跨机条目从 500 降到 1,最终结果不变。它之所以正确,是因为求和可结合——先局部求和再全局求和,与一次求和等价,所以可以在任意层级提前合并。这也约束了 reducer 的写法:如果 reducer 依赖“收到几个值”来算结果(例如把所有值设成 None 再取长度),一旦上游合并过,个数就变了,结果会错;写成对值求和,才能安全插入 combiner。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 500 个 ("data", 1) 实例组合成一个 ("data", 500) 实例,然后再移交给缩减机器。这样可以减少移动的数据量,算法会大大加快。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 5……」 - 原始内容:如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 500 个 ("data", 1) 实例组合成一个 ("data", 500) 实例,然后再移交给缩减机器。这样可以减少移动的数据量,算法会大大加快。