原书出处
大数据日知录_架构与算法
17 增量计算
图17-10是Kineograph的整体架构图。原始数据通过一系列接收节点(Ingest Nodes)进入系统,每个接收节点接收并分析到来的数据,据此创建关于图更新操作的事务,然后赋予事务以唯一的序列号,将带有序列号的事务涉及的多个操作分发给图节点(Graph Nodes)。图节点本质上是由多机构成的分布式内存KV数据库,其和普通内存KV数据库的区别在于支持图操作。图节点集群内的每个机器不仅存储图节点信息,还存储以邻接表方式存在的图结构,而且图结构信息和应用数据分开存储。此外,存储引擎还支持数据快照操作。图节点存储新增的图数据,每个接收节点向全局的进度表(Progress Table)汇报当前图更新操作的进度,“进度表”存储的各个图节点进度指示向量作为一个全局的逻辑时钟。“快照器”(Snapshooter)周期性地指示图节点中各个存储引擎根据进度表中的事务序列号向量所指明的进度进行数据快照操作,将内存里的增量数据输出到磁盘形成一份新的增量快照。这份新的增量快照中图结构的变化会触发增量计算引擎,以此来进行增量挖掘计算。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00022.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d