知识卡片
分块独立才可并行
MapReduce 能扩展到集群的前提,不是”任务被切小了”,而是”部分输入的处理可以独立于其他输入”。词频统计里,文档甚至文档的片段都能同时处理,因为数一个片段里的词不需要知道别的片段;各 map 的输出最后由 reduce 汇总,正确性不依赖处理顺序。
这条性质划出了适用边界:
- 适合:过滤、清洗、投影、按 key 聚合、构建倒排索引——每一步都能写成”逐条处理 + 按键合并”。
- 不适合:需要频繁读写同一份小状态、强顺序依赖、反复迭代才收敛的计算(如迭代式图算法)。批处理会把每轮中间结果落盘,代价随轮数放大。
可以归纳成一句判断:能把计算写成满足结合律的”分块算、再合并”,横向扩展近乎免费;做不到,就得先改造算法,或换执行模型(例如基于整体同步并行的图计算框架)。
常见误判:把”数据量大”当成”适合 MapReduce”。真正决定成败的是可分解性,而不是体积。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
MapReduce的一个关键特点是对部分输入的处理,可以独立于其他输入的处理来进行,因此,工作负载可以很容易地分布到一个计算机集群中。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.2 节关于部分输入的处理可独立进行、因此工作负载易于分布的论述。
- 原始内容:MapReduce的一个关键特点是对部分输入的处理,可以独立于其他输入的处理来进行,因此,工作负载可以很容易地分布到一个计算机集群中。