知识卡片

普通读书笔记卡 · 9754.d · 生成模型:DeepSeek-V4.1-Flash

分块独立才可并行

理解等级:高级

MapReduce 能扩展到集群的前提,不是”任务被切小了”,而是”部分输入的处理可以独立于其他输入”。词频统计里,文档甚至文档的片段都能同时处理,因为数一个片段里的词不需要知道别的片段;各 map 的输出最后由 reduce 汇总,正确性不依赖处理顺序。

这条性质划出了适用边界:

  • 适合:过滤、清洗、投影、按 key 聚合、构建倒排索引——每一步都能写成”逐条处理 + 按键合并”。
  • 不适合:需要频繁读写同一份小状态、强顺序依赖、反复迭代才收敛的计算(如迭代式图算法)。批处理会把每轮中间结果落盘,代价随轮数放大。

可以归纳成一句判断:能把计算写成满足结合律的”分块算、再合并”,横向扩展近乎免费;做不到,就得先改造算法,或换执行模型(例如基于整体同步并行的图计算框架)。

常见误判:把”数据量大”当成”适合 MapReduce”。真正决定成败的是可分解性,而不是体积。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.2 节关于部分输入的处理可独立进行、因此工作负载易于分布的论述。 - 原始内容:MapReduce的一个关键特点是对部分输入的处理,可以独立于其他输入的处理来进行,因此,工作负载可以很容易地分布到一个计算机集群中。