知识卡片

普通读书笔记卡 · 2280.q.11.a

MapReduce与内存处理

理解等级:中级

为什么还要懂 MapReduce:它是大数据时代标志性的批量转换方式,仍影响着今天的分布式系统。由谷歌在 GFS 论文之后提出,是 Hadoop 的非官方标准。

一个简单作业(如按用户 ID 计数): 1. map:为每个数据块生成一个 map 任务,在块上运行查询,为块内每个用户 ID 生成计数。块只有几百 MB 而整表可达 PB 级,但 map 几乎是完美的易并行计算,扫描效率与节点数基本呈线性关系; 2. shuffle:不把结果收集到一个节点,而是按键(通常用哈希)重新分配,让每个键只出现在一个节点上; 3. reduce:对每个键的结果求和,写到对应节点本地磁盘,汇总各节点子结果得到完整结果。 现实作业(过滤、连接三张表、窗口函数)会包含许多 map 和 reduce 阶段。

为什么被认为过于死板:大量短任务从磁盘读写,中间状态不保存在内存,任务间数据都经磁盘或网络传输——简化了状态管理、节省内存,却增加了磁盘带宽和处理时间。它的前提是磁盘容量和带宽很便宜,早期确实多次创造了数据处理记录。

后 MapReduce 时代:并未抛弃 map、shuffle、reduce,而是放松限制、允许在内存中缓存。内存的传输速度和寻道时间远优于 SSD 和 HDD,内存中哪怕只保留少量数据也能极大加速。Spark、BigQuery 等把数据视为驻留在内存中的分布式集合,超出内存才溢出到磁盘,磁盘成为二等存储层。云上租用内存比拥有内存高效得多,推动了内存处理的普及。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(MapReduce;在MapReduce之后)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.1节以按用户计数为例说明MapReduce的map、shuffle、reduce过程及其易并行性,分析其不在内存保存中间状态的死板之处,以及后MapReduce时代放松限制、以内存处理为主的演进。 - 原始内容:后MapReduce处理并没有真正抛弃MapReduce,它仍然包括map、shuffle和reduce等元素,但它放松了MapReduce的限制,允许在内存中进行缓存