← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9783.g · 生成模型:DeepSeek-V4.1-Flash

聚合函数可与分组解耦

理解等级:中级

把单词计数里的 mapper 与 reducer 抽出来,就得到通用的 map_reduce:它只负责遍历输入、按键收集、逐键调用 reducer,具体业务全部由两个函数参数决定。再观察一层会发现,多数 reducer 的形状都是“对同一个键的一组值施加某个聚合函数”,于是可以用 values_reducer 把聚合函数包装成 reducer,一行得到 sum_reducer、max_reducer、min_reducer 或按集合去重的计数。分组机制与聚合逻辑因此解耦:换问题只需换聚合函数,同一套框架就能回答“每天多少条数据科学更新”“每个用户有多少不同点赞者”,不必重写收集与分组。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      思考一下,前面例子中所有的单词计数代码是包含在 wc_mapper 和 wc_reducer 函数中的。这就意味着,借助几个改变我们可以有更通用的框架(仍在单个机器上运行)。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「思考一下,前面例子中所有的单词计数代码是包含在 wc_mapper 和 wc_r……」 - 原始内容:思考一下,前面例子中所有的单词计数代码是包含在 wc_mapper 和 wc_reducer 函数中的。这就意味着,借助几个改变我们可以有更通用的框架(仍在单个机器上运行)。