知识卡片
MapReduce与内存处理
为什么还要懂 MapReduce:它是大数据时代标志性的批量转换方式,仍影响着今天的分布式系统。由谷歌在 GFS 论文之后提出,是 Hadoop 的非官方标准。
一个简单作业(如按用户 ID 计数): 1. map:为每个数据块生成一个 map 任务,在块上运行查询,为块内每个用户 ID 生成计数。块只有几百 MB 而整表可达 PB 级,但 map 几乎是完美的易并行计算,扫描效率与节点数基本呈线性关系; 2. shuffle:不把结果收集到一个节点,而是按键(通常用哈希)重新分配,让每个键只出现在一个节点上; 3. reduce:对每个键的结果求和,写到对应节点本地磁盘,汇总各节点子结果得到完整结果。 现实作业(过滤、连接三张表、窗口函数)会包含许多 map 和 reduce 阶段。
为什么被认为过于死板:大量短任务从磁盘读写,中间状态不保存在内存,任务间数据都经磁盘或网络传输——简化了状态管理、节省内存,却增加了磁盘带宽和处理时间。它的前提是磁盘容量和带宽很便宜,早期确实多次创造了数据处理记录。
后 MapReduce 时代:并未抛弃 map、shuffle、reduce,而是放松限制、允许在内存中缓存。内存的传输速度和寻道时间远优于 SSD 和 HDD,内存中哪怕只保留少量数据也能极大加速。Spark、BigQuery 等把数据视为驻留在内存中的分布式集合,超出内存才溢出到磁盘,磁盘成为二等存储层。云上租用内存比拥有内存高效得多,推动了内存处理的普及。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
后MapReduce处理并没有真正抛弃MapReduce,它仍然包括map、shuffle和reduce等元素,但它放松了MapReduce的限制,允许在内存中进行缓存