知识卡片
映射与化简按键组织计算
map阶段把每条输入转换成零个或多个键值对,reduce阶段把同键的值合并为结果。对每个数平方再求和是简化示意,但分布式计算还要明确分组和可合并性;这不表示任何问题改写为map/reduce就更快。MongoDB当前官方说明其map-reduce自5.0起弃用,学习模式不能等同于照旧接口开展新实现。
结构图:处理流程示意,非代码类图。
flowchart LR
A["输入记录"] --> B["map产生键值"]
B --> C["按键聚集值"]
C --> D["reduce合并"]
D --> E["分组结果"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
Map-Reduce Map-Reduce是一种计算模式,包含两个主要的方法:map和reduce。map(映射)函数用来收集文档并对每个文档的新的键值对建立映射,而reduce(化简)函数则是收集文档并将它们使用某些方法进行化简。例如,计算算术平方和的函数,f(x)=x12+x22+...+xn2,它可以表示为对每个值进行平方的映射函数,对每个输入值的操作
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第6章《6.2.6 在程序中使用Python访问MongoDB》(spine102;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0091.html;u094-ch06-020)。
- 结论依据:原文在“Map-Reduce”附近的定义、例子或代码支撑本卡核心说明:map阶段把每条输入转换成零个或多个键值对,reduce阶段把同键的值合并为结果。边界按已读前提解释;示例未执行。
- 原始内容:Map-Reduce Map-Reduce是一种计算模式,包含两个主要的方法:map和reduce。map(映射)函数用来收集文档并对每个文档的新的键值对建立映射,而reduce(化简)函数则是收集文档并将它们使用某些方法进行化简。例如,计算算术平方和的函数,f(x)=x12+x22+...+xn2,它可以表示为对每个值进行平方的映射函数,对每个输入值的操作