知识卡片
变化传播模式
变化传播从新增数据出发,计算直接影响,再沿依赖关系继续扩散,直到影响收敛。Percolator 和 Kineograph 属于这一类,适合准实时更新和依赖图清晰的系统。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 增量计算 · 查看原书依据
“变化传播模式”在设计技术方案时,更多地从新数据和受影响的旧数据这个角度来考虑如何设计系统,其基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去,再考虑又有哪些其他旧的计算结果会进一步受到影响,如果影响足够大,那么需要重新计算,如此不断循环往复,即可完成整个增量的计算过程。如果把它们做个比喻,类似于将一个石子投入水面,投入点会出现不断外扩的层层涟漪。新数据就是投入水中的石子,而层层涟漪就是不断地计算受到新数据影响的旧数据。Percolator和Kineograph系统属于此种模式。
参考来源
- 位置:《大数据日知录:架构与算法》第17章《增量计算》"17.1.1 两种计算模式"一节(源文件:_epub-src/OEBPS/text00022.html)
- 结论依据:原文明确"'变化传播模式'……基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去……如此不断循环往复……Percolator和Kineograph系统属于此种模式",且"准实时的增量计算方法一般采取'变化传播模式',因其计算效率较高"。
- 原始内容:变化传播模式"在设计技术方案时,更多地从新数据和受影响的旧数据这个角度来考虑如何设计系统,其基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去……Percolator和Kineograph系统属于此种模式……准实时的增量计算方法一般采取'变化传播模式',因其计算效率较高