返回主题:增量计算:只算变化的那一部分

知识卡片

普通读书笔记卡 · 5445

省计算不等于按比例缩短延迟

理解等级:中级

复用旧Map结果能省资源,但Shuffle、Reduce、调度与缓存读取仍可能主导关键路径。并行Map省去大量总工作也不一定同幅缩短作业完成时间,反之也不能据书中某组10%以内实验就断言所有增量MR都只能提升10%。收益依变化范围、可复用算子和瓶颈分布测量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 增量计算 · 查看原书依据

      尽管每个基于Hadoop平台的增量计算系统具体的实施方案各异,但是其整体流程和面临的主要问题都类似于上文所述内容。Incoop和IncMR是两个典型的基于Hadoop平台的增量计算系统,都采取了“结果缓存复用模式”。从上述机制可以看出,这种模式对结果复用的大部分只能重用旧数据Map阶段的中间结果,在Reduce阶段,即使有很多旧数据结果没有受到影响,但是受制于MR 的运算机制,也很难对此加以区分,所以必须完整地运行所有数据的Reduce阶段逻辑流程,其复用效果并不是特别突出。尽管Incoop采用了比较复杂的技术来改造Hadoop,试图增加Reduce阶段的复用,但是效果并不明显。另外,与所有的新旧数据完全重新计算相比,这种方法即便可以在Map阶段省去旧数据的计算过程,但也仅仅是节省了计算资源,从任务完成速度的角度来讲并没有太大优势,因为即使是完全重算,Map阶段也是并发执行,所以从速度上讲,两者并没太多的差别。实验结果也表明,基于Hadoop改造的增量计算与全量更新相比,大多数应用性能的提升只是在10%以内。

    参考来源

    - 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落20,OEBPS/text00022.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:尽管每个基于Hadoop平台的增量计算系统具体的实施方案各异,但是其整体流程和面临的主要问题都类似于上文所述内容。Incoop和IncMR是两个典型的基于Hadoop平台的增量计算系统,都采取了“结果缓存复用模式”。从上述机制可以看出,这种模式对结果复用的大部分只能重用旧数据Map阶段的中间结果,在Reduce阶段,即使有很多旧数据结果没有受到影响,但是受制于MR 的运算机制,也很难对此加以区分,所以必须完整地运行所有数据的Reduce阶段逻辑流程,其复用效果并不是特别突出。尽管Incoop采用了比较复杂的技术来改造Hadoop,试图增加Reduce阶段的复用,但是效果并不明显。另外,与所有的新旧数据完全重新计算相比,这种方法即便可以在Map阶段省去旧数据的计算过程,但也仅仅是节省了计算资源,从任务完成速度的角度来讲并没有太大优势,因为即使是完全重算,Map阶段也是并发执行,所以从速度上讲,两者并没太多的差别。实验结果也表明,基于Hadoop改造的增量计算与全量更新相比,大多数应用性能的提升只是在10%以内。