知识卡片
组合器减少跨机传输
combiner 是在 mapper 所在机器上先做一次局部归约:同一台机器看到 500 个 (“data”, 1),就先合成一个 (“data”, 500) 再发出,跨机条目从 500 降到 1,最终结果不变。它之所以正确,是因为求和可结合——先局部求和再全局求和,与一次求和等价,所以可以在任意层级提前合并。这也约束了 reducer 的写法:如果 reducer 依赖“收到几个值”来算结果(例如把所有值设成 None 再取长度),一旦上游合并过,个数就变了,结果会错;写成对值求和,才能安全插入 combiner。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 MapReduce · 查看原书依据
如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 500 个 ("data", 1) 实例组合成一个 ("data", 500) 实例,然后再移交给缩减机器。这样可以减少移动的数据量,算法会大大加快。
参考来源
- 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 5……」
- 原始内容:如果一个 mapper 机器看到 500 次单词 data,则我们可以让它将 500 个 ("data", 1) 实例组合成一个 ("data", 500) 实例,然后再移交给缩减机器。这样可以减少移动的数据量,算法会大大加快。