返回主题:增量计算:只算变化的那一部分

知识卡片

普通读书笔记卡 · 1782.a

变化传播模式

理解等级:未标注

变化传播从新增数据出发,计算直接影响,再沿依赖关系继续扩散,直到影响收敛。Percolator 和 Kineograph 属于这一类,适合准实时更新和依赖图清晰的系统。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 增量计算 · 查看原书依据

      “变化传播模式”在设计技术方案时,更多地从新数据和受影响的旧数据这个角度来考虑如何设计系统,其基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去,再考虑又有哪些其他旧的计算结果会进一步受到影响,如果影响足够大,那么需要重新计算,如此不断循环往复,即可完成整个增量的计算过程。如果把它们做个比喻,类似于将一个石子投入水面,投入点会出现不断外扩的层层涟漪。新数据就是投入水中的石子,而层层涟漪就是不断地计算受到新数据影响的旧数据。Percolator和Kineograph系统属于此种模式。

    参考来源

    - 位置:《大数据日知录:架构与算法》第17章《增量计算》"17.1.1 两种计算模式"一节(源文件:_epub-src/OEBPS/text00022.html) - 结论依据:原文明确"'变化传播模式'……基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去……如此不断循环往复……Percolator和Kineograph系统属于此种模式",且"准实时的增量计算方法一般采取'变化传播模式',因其计算效率较高"。 - 原始内容:变化传播模式"在设计技术方案时,更多地从新数据和受影响的旧数据这个角度来考虑如何设计系统,其基本思路往往是:首先计算新数据的结果,然后判断直接受到影响的旧数据有哪些,并重新计算其结果,接着将这些变化的结果通过数据之间的结构传播出去……Percolator和Kineograph系统属于此种模式……准实时的增量计算方法一般采取'变化传播模式',因其计算效率较高