知识卡片
选键决定 reducer 视野
reducer 只能看到同一个键下的全部值,因此键的选择等价于规定“reducer 能看到哪一组完整数据”。在“每个用户最常用的词”里,以用户名为键,reducer 拿到此人的所有 (词, 1),可以自行累计并挑出最高频词;以词为键,reducer 看到的是各用户的计数,无法比较某人内部的词频;以“用户+词”为键,每人每词各成一组,reducer 反而没有可聚合的对象。选键的顺序应是先问结果按什么分组,再问这个分组内的 reducer 需要哪些原始信息,最后才决定值的形状。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 MapReduce · 查看原书依据
稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人的单词。我们也不想用 word 来分组,因为 reducer 想要看到每个人的所有单词,以此找出哪一个单词是最流行的。
参考来源
- 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人……」
- 原始内容:稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人的单词。我们也不想用 word 来分组,因为 reducer 想要看到每个人的所有单词,以此找出哪一个单词是最流行的。