知识卡片
增量计算目标
增量计算只重算新增数据和被影响的旧结果,复用未受影响的历史计算。它适合数据变化小而全量重建昂贵的任务,本质是在正确性前提下缩小计算波及范围。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
在介绍这两种增量计算模式之前,我们先来了解下增量计算流程(见图17-1)。对于增量计算来说,首先有旧的数据及其对应的计算结果,很多技术文献里提到的所谓数据的“状态”(State),通常情况下指的就是数据的计算结果或者是数据和其计算结果之间的对应映射关系。假设开始新一轮的计算,此时我们获得了部分新数据,新数据的比例往往只占旧数据比例的很小一部分,比如,百分之一甚至千分之一。但是有些新数据会和旧数据发生关联关系,比如,新网页会有出链指向旧的网页,这会影响旧数据的计算结果。所以,对于增量计算来说,将运算过程仅仅实施到新数据上是不够的,还要考虑新数据的加入导致部分旧数据的计算结果发生的变化。也就是说,增量计算要同时考虑新数据以及由新数据加入影响到的旧数据,并对这些造成影响的数据重新进行计算,而对绝大多数旧数据而言,其实是不受新数据加入的影响的,那么原先的计算结果可以直接重用。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》引言及"17.1.1 两种计算模式"一节(源文件:_epub-src/OEBPS/text00022.html)
- 结论依据:原文明确"增量计算则是另一种比较节约系统资源的思路,每次只对新增内容以及对其影响到的旧计算结果进行重新计算,原先的大部分计算结果可以复用",并说明"绝大多数旧数据而言,其实是不受新数据加入的影响的,那么原先的计算结果可以直接重用"。
- 原始内容:增量计算则是另一种比较节约系统资源的思路,每次只对新增内容以及对其影响到的旧计算结果进行重新计算,原先的大部分计算结果可以复用……而对绝大多数旧数据而言,其实是不受新数据加入的影响的,那么原先的计算结果可以直接重用。