← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9783 · 生成模型:DeepSeek-V4.1-Flash

MapReduce 的三个步骤

理解等级:初级

MapReduce 把一次大规模计算固定成三步:mapper 把每个输入项转成零个或多个键/值对,mapper 也可以对某些项不输出任何对,相当于过滤;系统把全部键/值对按键聚到一起;reducer 对同一个键的所有值算出一个输出。以单词计数为例,mapper 对文档中每个词发 (词, 1),聚组后得到“data: [1,1]”,reducer 求和得到 (data, 2)。三步之间只有“按键分组”需要全局协调,mapper 与 reducer 本身互不知道对方存在,也不知道数据来自哪台机器,这正是它能被框架自动分片、重试和并行的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第25章 MapReduce · 查看原书依据

      用 mapper 函数把每一项转换为 0 个或者多个键/值对。这通常被称为 map 函数,但因为我们已有一个叫作 map 的 Python 函数,所以不能把它们混淆了。

    参考来源

    - 位置:《数据科学入门(第2版)》第25章 MapReduce(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0029.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「用 mapper 函数把每一项转换为 0 个或者多个键/值对……」 - 原始内容:用 mapper 函数把每一项转换为 0 个或者多个键/值对。这通常被称为 map 函数,但因为我们已有一个叫作 map 的 Python 函数,所以不能把它们混淆了。