← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.132Z

4.缓存的Map函数产生的中间结果周期性地被写入本地磁盘,每个Map函数的中间结果在写入磁盘前被分割函数(Partitioner)切割成R 份,R 是Reduce的个数。这里的分割函数一般是用Key对R 进行哈希取模,这样就将Map函数的中间数据分割成R 份对应每个Reduce函数所需的数据分片临时文件。Map函数完成对应数据块的处理后将其R 个临时文件位置通知Master,再由Master将其转交给Reduce任务的Worker。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d