← 返回卡片

原书出处

大数据日知录_架构与算法

17 增量计算

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.178Z

图17-2是在Hadoop平台上构建增量计算系统时的一个基础架构图。在整个系统运行的过程中,首次运行时,增量计算与普通的Hadoop运算过程是一致的,区别体现在后续的增量迭代运行过程中。在后续的增量迭代中,增量计算系统首先要区分哪些数据是新增数据,哪些数据是已经有计算结果的旧数据,并尽可能将新增数据独立出来。对于新增数据,需要进行完整的Map和Reduce两阶段的运算,对于旧数据,则可以免去Map阶段的运算,只进行Reduce阶段的运算,即这是一种对Map阶段输出中间结果的复用,所以增量计算系统需要将上一轮计算中Map阶段的输出缓存到文件中,以供后续增量迭代重用。之所以在Hadoop平台上的增量计算系统通常采取Map阶段的中间结果复用,是因为在MR执行的两阶段过程中,Map阶段往往不考虑数据记录之间的关系,所以这一阶段不涉及新数据对旧数据的影响。因此,旧数据这一步的结果是完全可以避免重新计算的,新数据和旧数据发生影响的阶段在Shuffle和Reduce阶段,通过Shuffle阶段,将这种影响体现到Reduce阶段接收到的中间数据中。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d