知识卡片
输入切分显式区分新旧数据
为提高增量复用率,先把新增或变化记录从可复用旧数据中分离,再按原分区规则保存与调度Map输出给对应Reduce。若输入块混有大量旧数据,块级变化会扩大重算。缓存中间文件后还要改造抓取位置和调度,不能仅跳过Map任务却让Reduce继续等待不存在的本地文件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
为了能够最大化地复用数据,减少无谓的重复计算,基于Hadoop平台的增量计算系统往往需要在以下几方面做出特殊处理或者需要改造Hadoop运行流程。首先在Map过程的数据输入阶段,尽可能将新数据和旧数据明确区分开,否则,如果输入的数据块内既包含新数据,也包含旧数据,那么Map阶段的中间结果复用效果也会大打折扣。另外,因为Map阶段的中间结果复用时,往往将上一轮Map运算的中间结果放在一起,而非像正常的MR一样由各个Map任务来维护和管理中间数据,所以在后续Reduce阶段从Map阶段复制中间数据时需要增加额外的调度功能,这样才能正常开始后续的Reduce阶段任务。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落19,OEBPS/text00022.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:为了能够最大化地复用数据,减少无谓的重复计算,基于Hadoop平台的增量计算系统往往需要在以下几方面做出特殊处理或者需要改造Hadoop运行流程。首先在Map过程的数据输入阶段,尽可能将新数据和旧数据明确区分开,否则,如果输入的数据块内既包含新数据,也包含旧数据,那么Map阶段的中间结果复用效果也会大打折扣。另外,因为Map阶段的中间结果复用时,往往将上一轮Map运算的中间结果放在一起,而非像正常的MR一样由各个Map任务来维护和管理中间数据,所以在后续Reduce阶段从Map阶段复制中间数据时需要增加额外的调度功能,这样才能正常开始后续的Reduce阶段任务。