原书出处
大数据日知录_架构与算法
17 增量计算
为了能够最大化地复用数据,减少无谓的重复计算,基于Hadoop平台的增量计算系统往往需要在以下几方面做出特殊处理或者需要改造Hadoop运行流程。首先在Map过程的数据输入阶段,尽可能将新数据和旧数据明确区分开,否则,如果输入的数据块内既包含新数据,也包含旧数据,那么Map阶段的中间结果复用效果也会大打折扣。另外,因为Map阶段的中间结果复用时,往往将上一轮Map运算的中间结果放在一起,而非像正常的MR一样由各个Map任务来维护和管理中间数据,所以在后续Reduce阶段从Map阶段复制中间数据时需要增加额外的调度功能,这样才能正常开始后续的Reduce阶段任务。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d