← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9783.d · 生成模型:DeepSeek-V4.1-Flash

选键决定 reducer 视野

理解等级:高级

reducer 只能看到同一个键下的全部值,因此键的选择等价于规定“reducer 能看到哪一组完整数据”。在“每个用户最常用的词”里,以用户名为键,reducer 拿到此人的所有 (词, 1),可以自行累计并挑出最高频词;以词为键,reducer 看到的是各用户的计数,无法比较某人内部的词频;以“用户+词”为键,每人每词各成一组,reducer 反而没有可聚合的对象。选键的顺序应是先问结果按什么分组,再问这个分组内的 reducer 需要哪些原始信息,最后才决定值的形状。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人的单词。我们也不想用 word 来分组,因为 reducer 想要看到每个人的所有单词,以此找出哪一个单词是最流行的。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人……」 - 原始内容:稍作考虑,我们就一定会知道应该用 username 分组,因为想要分别考虑每个人的单词。我们也不想用 word 来分组,因为 reducer 想要看到每个人的所有单词,以此找出哪一个单词是最流行的。