知识卡片
同键聚合让计算可扩展
MapReduce 把计算拆成两段:Map 把每条输入记录转成若干键值对,框架按键分组排序后,把同一个键的所有值交给一次 Reduce 调用,Reduce 只做聚合。词频统计是最小样板:Map 输出 (词,1),Shuffle 保证同一个词落到同一个 Reducer,Reduce 累加即得词频。它能扩展的关键有两条:每个 Mapper 只读本地分片,不需要跨机取原始数据;聚合适配结合律(sum 可以先局部求和再全局求和),所以增加机器只是增加分片数,网络上流动的只是按 key 归并后的中间结果,规模取决于不同键的数量而非原始数据量。边界也在这里:聚合不可结合,或必须看到全量数据才能算(如中位数、全局 Top-N 的精确解),就要多轮作业或退化为单点。
结构图:
flowchart LR
A[输入切成分片] --> B[Map: 输出 词,1]
B --> C[按 key 分区与排序]
C --> D[同键汇到一个 Reduce]
D --> E[累加得到词频]
E --> F[写入输出目录]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 如何计算得更快 · 查看原书依据
之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配到一个Reducer)发给相应的Reducer,Reducer的职责就是把相同key的value累加起来;这样,就统计完词频了。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第4章 如何计算得更快(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00011.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配……」
- 原始内容:之后每个Mapper会把自己的数据按照某种规律(如按字母序,这样同一个词才能分配到一个Reducer)发给相应的Reducer,Reducer的职责就是把相同key的value累加起来;这样,就统计完词频了。