知识卡片
观察通知驱动后续局部更新
应用注册关注列及观察者,Worker扫描变更提示并触发事务,事务写入其他列可继续触发后续观察者,形成依赖变化传播。该结构替代周期全量重算的部分局部工作,不自动决定业务依赖或避免循环。通知、事务状态与外部副作用的边界需分别定义,不能把每次函数调用都当完成提交。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
Percolater采用了“观察/通知”的机制来将应用程序串接起来形成一个整体,这样就形成了变化传播的增量计算模式,图17-8是其运行流程示意图。在Bigtable的每个子表服务器上,Percolater都部署一个“Percolater控制器”(Percolater Worker),不同的应用在控制器登记两类信息:哪个应用程序观察子表的哪些列,这里的每个应用程序被称为一个观察者。在图17-8中,有两个观察者,观察者1关注子表的第一列和第二列,观察者2关注子表的第三列。Percolater控制器不断扫描子表的列内容,如果发现被观察的某列数据做出更改,则通知观察这列数据的观察者,观察者执行相应的程序逻辑操作,并将更新的内容写入子表中,新写入的数据可能会触发其他观察者启动执行。Percolator就是通过这种“观察/通知”的机制将完成一项任务所需的所有步骤串接起来,有点类似于“多米诺骨牌”,一一依次触发。在图17-8中,当Percolater控制器发现第二列的第二行被写入数据X后,通知“观察者1”,“观察者1”执行对应的程序,执行结束后,在子表的第三行第三列写入数据Y,这触发了“观察者2”的执行。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落44,OEBPS/text00022.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:Percolater采用了“观察/通知”的机制来将应用程序串接起来形成一个整体,这样就形成了变化传播的增量计算模式,图17-8是其运行流程示意图。在Bigtable的每个子表服务器上,Percolater都部署一个“Percolater控制器”(Percolater Worker),不同的应用在控制器登记两类信息:哪个应用程序观察子表的哪些列,这里的每个应用程序被称为一个观察者。在图17-8中,有两个观察者,观察者1关注子表的第一列和第二列,观察者2关注子表的第三列。Percolater控制器不断扫描子表的列内容,如果发现被观察的某列数据做出更改,则通知观察这列数据的观察者,观察者执行相应的程序逻辑操作,并将更新的内容写入子表中,新写入的数据可能会触发其他观察者启动执行。Percolator就是通过这种“观察/通知”的机制将完成一项任务所需的所有步骤串接起来,有点类似于“多米诺骨牌”,一一依次触发。在图17-8中,当Percolater控制器发现第二列的第二行被写入数据X后,通知“观察者1”,“观察者1”执行对应的程序,执行结束后,在子表的第三行第三列写入数据Y,这触发了“观察者2”的执行。