原书出处
大数据日知录_架构与算法
17 增量计算
尽管每个基于Hadoop平台的增量计算系统具体的实施方案各异,但是其整体流程和面临的主要问题都类似于上文所述内容。Incoop和IncMR是两个典型的基于Hadoop平台的增量计算系统,都采取了“结果缓存复用模式”。从上述机制可以看出,这种模式对结果复用的大部分只能重用旧数据Map阶段的中间结果,在Reduce阶段,即使有很多旧数据结果没有受到影响,但是受制于MR 的运算机制,也很难对此加以区分,所以必须完整地运行所有数据的Reduce阶段逻辑流程,其复用效果并不是特别突出。尽管Incoop采用了比较复杂的技术来改造Hadoop,试图增加Reduce阶段的复用,但是效果并不明显。另外,与所有的新旧数据完全重新计算相比,这种方法即便可以在Map阶段省去旧数据的计算过程,但也仅仅是节省了计算资源,从任务完成速度的角度来讲并没有太大优势,因为即使是完全重算,Map阶段也是并发执行,所以从速度上讲,两者并没太多的差别。实验结果也表明,基于Hadoop改造的增量计算与全量更新相比,大多数应用性能的提升只是在10%以内。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d