原书出处
大数据日知录_架构与算法
17 增量计算
图17-2是在Hadoop平台上构建增量计算系统时的一个基础架构图。在整个系统运行的过程中,首次运行时,增量计算与普通的Hadoop运算过程是一致的,区别体现在后续的增量迭代运行过程中。在后续的增量迭代中,增量计算系统首先要区分哪些数据是新增数据,哪些数据是已经有计算结果的旧数据,并尽可能将新增数据独立出来。对于新增数据,需要进行完整的Map和Reduce两阶段的运算,对于旧数据,则可以免去Map阶段的运算,只进行Reduce阶段的运算,即这是一种对Map阶段输出中间结果的复用,所以增量计算系统需要将上一轮计算中Map阶段的输出缓存到文件中,以供后续增量迭代重用。之所以在Hadoop平台上的增量计算系统通常采取Map阶段的中间结果复用,是因为在MR执行的两阶段过程中,Map阶段往往不考虑数据记录之间的关系,所以这一阶段不涉及新数据对旧数据的影响。因此,旧数据这一步的结果是完全可以避免重新计算的,新数据和旧数据发生影响的阶段在Shuffle和Reduce阶段,通过Shuffle阶段,将这种影响体现到Reduce阶段接收到的中间数据中。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d