← 返回卡片

原书出处

大数据日知录_架构与算法

17 增量计算

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.185Z

在介绍这两种增量计算模式之前,我们先来了解下增量计算流程(见图17-1)。对于增量计算来说,首先有旧的数据及其对应的计算结果,很多技术文献里提到的所谓数据的“状态”(State),通常情况下指的就是数据的计算结果或者是数据和其计算结果之间的对应映射关系。假设开始新一轮的计算,此时我们获得了部分新数据,新数据的比例往往只占旧数据比例的很小一部分,比如,百分之一甚至千分之一。但是有些新数据会和旧数据发生关联关系,比如,新网页会有出链指向旧的网页,这会影响旧数据的计算结果。所以,对于增量计算来说,将运算过程仅仅实施到新数据上是不够的,还要考虑新数据的加入导致部分旧数据的计算结果发生的变化。也就是说,增量计算要同时考虑新数据以及由新数据加入影响到的旧数据,并对这些造成影响的数据重新进行计算,而对绝大多数旧数据而言,其实是不受新数据加入的影响的,那么原先的计算结果可以直接重用。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d