返回主题:增量计算:只算变化的那一部分

知识卡片

普通读书笔记卡 · 1782.a.2

图更新与快照计算分离

理解等级:中级

Kineograph接收节点把输入转成带序号的图更新事务,图节点维护图结构、应用数据和邻接关系;快照器按进度组织可计算版本,再触发增量图计算。更新维护与图挖掘分离,避免把正在变化的各节点内存随意拼成一个版本。流输入不表示每条到达立即形成全局计算快照。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 增量计算 · 查看原书依据

      图17-10是Kineograph的整体架构图。原始数据通过一系列接收节点(Ingest Nodes)进入系统,每个接收节点接收并分析到来的数据,据此创建关于图更新操作的事务,然后赋予事务以唯一的序列号,将带有序列号的事务涉及的多个操作分发给图节点(Graph Nodes)。图节点本质上是由多机构成的分布式内存KV数据库,其和普通内存KV数据库的区别在于支持图操作。图节点集群内的每个机器不仅存储图节点信息,还存储以邻接表方式存在的图结构,而且图结构信息和应用数据分开存储。此外,存储引擎还支持数据快照操作。图节点存储新增的图数据,每个接收节点向全局的进度表(Progress Table)汇报当前图更新操作的进度,“进度表”存储的各个图节点进度指示向量作为一个全局的逻辑时钟。“快照器”(Snapshooter)周期性地指示图节点中各个存储引擎根据进度表中的事务序列号向量所指明的进度进行数据快照操作,将内存里的增量数据输出到磁盘形成一份新的增量快照。这份新的增量快照中图结构的变化会触发增量计算引擎,以此来进行增量挖掘计算。

    参考来源

    - 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落51,OEBPS/text00022.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:图17-10是Kineograph的整体架构图。原始数据通过一系列接收节点(Ingest Nodes)进入系统,每个接收节点接收并分析到来的数据,据此创建关于图更新操作的事务,然后赋予事务以唯一的序列号,将带有序列号的事务涉及的多个操作分发给图节点(Graph Nodes)。图节点本质上是由多机构成的分布式内存KV数据库,其和普通内存KV数据库的区别在于支持图操作。图节点集群内的每个机器不仅存储图节点信息,还存储以邻接表方式存在的图结构,而且图结构信息和应用数据分开存储。此外,存储引擎还支持数据快照操作。图节点存储新增的图数据,每个接收节点向全局的进度表(Progress Table)汇报当前图更新操作的进度,“进度表”存储的各个图节点进度指示向量作为一个全局的逻辑时钟。“快照器”(Snapshooter)周期性地指示图节点中各个存储引擎根据进度表中的事务序列号向量所指明的进度进行数据快照操作,将内存里的增量数据输出到磁盘形成一份新的增量快照。这份新的增量快照中图结构的变化会触发增量计算引擎,以此来进行增量挖掘计算。