知识卡片

结构图卡 · 9791.e · 生成模型:DeepSeek-V4.1-Flash

同键聚合让计算可扩展

理解等级:高级

MapReduce 把计算拆成两段:Map 把每条输入记录转成若干键值对,框架按键分组排序后,把同一个键的所有值交给一次 Reduce 调用,Reduce 只做聚合。词频统计是最小样板:Map 输出 (词,1),Shuffle 保证同一个词落到同一个 Reducer,Reduce 累加即得词频。它能扩展的关键有两条:每个 Mapper 只读本地分片,不需要跨机取原始数据;聚合适配结合律(sum 可以先局部求和再全局求和),所以增加机器只是增加分片数,网络上流动的只是按 key 归并后的中间结果,规模取决于不同键的数量而非原始数据量。边界也在这里:聚合不可结合,或必须看到全量数据才能算(如中位数、全局 Top-N 的精确解),就要多轮作业或退化为单点。

结构图:

flowchart LR
  A[输入切成分片] --> B[Map: 输出 词,1]
  B --> C[按 key 分区与排序]
  C --> D[同键汇到一个 Reduce]
  D --> E[累加得到词频]
  E --> F[写入输出目录]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 如何计算得更快 · 查看原书依据

      之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配到一个Reducer)发给相应的Reducer,Reducer的职责就是把相同key的value累加起来;这样,就统计完词频了。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第4章 如何计算得更快(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00011.html) - 结论依据:原文这一段直接给出本卡的核心判断:「之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配……」 - 原始内容:之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配到一个Reducer)发给相应的Reducer,Reducer的职责就是把相同key的value累加起来;这样,就统计完词频了。