知识卡片
MapReduce拆合
内容
MapReduce 的核心是把大任务拆成可并行处理的 Map，再用 Reduce 合并结果。它适合海量数据批处理，代价是编程门槛和交互效率相对较高。
参考来源
- 位置：《数据产品经理修炼手册：从零基础到大数据产品实践》第4章《数据仓库理论与应用》（源文件：_epub-src/OEBPS/text00001.html）
- 结论依据：原文说明 Map 与 Reduce 的分工，并对比直接使用门槛高。
- 原始内容：…会把所有的函数都分为两类，即Map和Reduce。Map会将数据分成很多份，然后分配给不同的机器处理；Reduce把计算的结果合并，得到最终的结果。 但是如果直接使用MapReduce的程序，会发现使用门槛比较高，Hive和Pig基于MapReduce的基础封装出一个更友好、更简…