知识卡片
省计算不等于按比例缩短延迟
复用旧Map结果能省资源,但Shuffle、Reduce、调度与缓存读取仍可能主导关键路径。并行Map省去大量总工作也不一定同幅缩短作业完成时间,反之也不能据书中某组10%以内实验就断言所有增量MR都只能提升10%。收益依变化范围、可复用算子和瓶颈分布测量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
尽管每个基于Hadoop平台的增量计算系统具体的实施方案各异,但是其整体流程和面临的主要问题都类似于上文所述内容。Incoop和IncMR是两个典型的基于Hadoop平台的增量计算系统,都采取了“结果缓存复用模式”。从上述机制可以看出,这种模式对结果复用的大部分只能重用旧数据Map阶段的中间结果,在Reduce阶段,即使有很多旧数据结果没有受到影响,但是受制于MR 的运算机制,也很难对此加以区分,所以必须完整地运行所有数据的Reduce阶段逻辑流程,其复用效果并不是特别突出。尽管Incoop采用了比较复杂的技术来改造Hadoop,试图增加Reduce阶段的复用,但是效果并不明显。另外,与所有的新旧数据完全重新计算相比,这种方法即便可以在Map阶段省去旧数据的计算过程,但也仅仅是节省了计算资源,从任务完成速度的角度来讲并没有太大优势,因为即使是完全重算,Map阶段也是并发执行,所以从速度上讲,两者并没太多的差别。实验结果也表明,基于Hadoop改造的增量计算与全量更新相比,大多数应用性能的提升只是在10%以内。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落20,OEBPS/text00022.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:尽管每个基于Hadoop平台的增量计算系统具体的实施方案各异,但是其整体流程和面临的主要问题都类似于上文所述内容。Incoop和IncMR是两个典型的基于Hadoop平台的增量计算系统,都采取了“结果缓存复用模式”。从上述机制可以看出,这种模式对结果复用的大部分只能重用旧数据Map阶段的中间结果,在Reduce阶段,即使有很多旧数据结果没有受到影响,但是受制于MR 的运算机制,也很难对此加以区分,所以必须完整地运行所有数据的Reduce阶段逻辑流程,其复用效果并不是特别突出。尽管Incoop采用了比较复杂的技术来改造Hadoop,试图增加Reduce阶段的复用,但是效果并不明显。另外,与所有的新旧数据完全重新计算相比,这种方法即便可以在Map阶段省去旧数据的计算过程,但也仅仅是节省了计算资源,从任务完成速度的角度来讲并没有太大优势,因为即使是完全重算,Map阶段也是并发执行,所以从速度上讲,两者并没太多的差别。实验结果也表明,基于Hadoop改造的增量计算与全量更新相比,大多数应用性能的提升只是在10%以内。