知识卡片
Map复用依赖逻辑稳定
Hadoop增量框架可保留旧数据的Map中间结果,仅为新增数据重新执行Map,再把新旧结果送往Reduce。前提是旧记录的Map输出不受其他新记录影响,且Map代码、参数和外部依赖仍兼容;Map若读取变化的全局模型就不能盲目复用。删除与修改旧记录时也要撤销或替换旧贡献,不能只追加新贡献。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
图17-2是在Hadoop平台上构建增量计算系统时的一个基础架构图。在整个系统运行的过程中,首次运行时,增量计算与普通的Hadoop运算过程是一致的,区别体现在后续的增量迭代运行过程中。在后续的增量迭代中,增量计算系统首先要区分哪些数据是新增数据,哪些数据是已经有计算结果的旧数据,并尽可能将新增数据独立出来。对于新增数据,需要进行完整的Map和Reduce两阶段的运算,对于旧数据,则可以免去Map阶段的运算,只进行Reduce阶段的运算,即这是一种对Map阶段输出中间结果的复用,所以增量计算系统需要将上一轮计算中Map阶段的输出缓存到文件中,以供后续增量迭代重用。之所以在Hadoop平台上的增量计算系统通常采取Map阶段的中间结果复用,是因为在MR执行的两阶段过程中,Map阶段往往不考虑数据记录之间的关系,所以这一阶段不涉及新数据对旧数据的影响。因此,旧数据这一步的结果是完全可以避免重新计算的,新数据和旧数据发生影响的阶段在Shuffle和Reduce阶段,通过Shuffle阶段,将这种影响体现到Reduce阶段接收到的中间数据中。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落17,OEBPS/text00022.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:图17-2是在Hadoop平台上构建增量计算系统时的一个基础架构图。在整个系统运行的过程中,首次运行时,增量计算与普通的Hadoop运算过程是一致的,区别体现在后续的增量迭代运行过程中。在后续的增量迭代中,增量计算系统首先要区分哪些数据是新增数据,哪些数据是已经有计算结果的旧数据,并尽可能将新增数据独立出来。对于新增数据,需要进行完整的Map和Reduce两阶段的运算,对于旧数据,则可以免去Map阶段的运算,只进行Reduce阶段的运算,即这是一种对Map阶段输出中间结果的复用,所以增量计算系统需要将上一轮计算中Map阶段的输出缓存到文件中,以供后续增量迭代重用。之所以在Hadoop平台上的增量计算系统通常采取Map阶段的中间结果复用,是因为在MR执行的两阶段过程中,Map阶段往往不考虑数据记录之间的关系,所以这一阶段不涉及新数据对旧数据的影响。因此,旧数据这一步的结果是完全可以避免重新计算的,新数据和旧数据发生影响的阶段在Shuffle和Reduce阶段,通过Shuffle阶段,将这种影响体现到Reduce阶段接收到的中间数据中。