← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1782.d

局部增量与全局批算互补

理解等级:中级

Percolator让局部变化较快影响索引,MapReduce仍适合全局统计。更新时效提升来自计算与依赖范围变化,不是通知机制自动改进搜索相关性,也不能由历史100倍更新周期直接推断所有任务都提速100倍。数据规模不大时还应比较普通数据库事务与作业方案的复杂度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 增量计算 · 查看原书依据

      “咖啡因”系统作为一种增量更新模式,并不是MapReduce的替代品,两者各有所长,起到互补的作用。如果是全局性的统计工作,还是比较适合用MapReduce来做,而对于局部性的更新则比较适合使用Percolator系统来处理。另外,Percolator在Bigtable的“行事务”支持的基础上实现了跨行跨表的事务支持,所以提供了对数据处理的强一致性服务,如果应用只需要较弱的一致性要求,那么直接使用Bigtable已经足够,如果有强事务要求,则使用Percolator比较合适。再次,Percolator是对海量数据处理的计算模型,如果数据量没有达到一定的量级,其实直接采用数据库系统即可满 足需求。所以,“咖啡因”系统可以理解为针对海量数据处理的、提供强一致性支持的局部增量更新计算模型。这是其与其他所有Google系统的不同之处。

    参考来源

    - 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落25,OEBPS/text00022.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:“咖啡因”系统作为一种增量更新模式,并不是MapReduce的替代品,两者各有所长,起到互补的作用。如果是全局性的统计工作,还是比较适合用MapReduce来做,而对于局部性的更新则比较适合使用Percolator系统来处理。另外,Percolator在Bigtable的“行事务”支持的基础上实现了跨行跨表的事务支持,所以提供了对数据处理的强一致性服务,如果应用只需要较弱的一致性要求,那么直接使用Bigtable已经足够,如果有强事务要求,则使用Percolator比较合适。再次,Percolator是对海量数据处理的计算模型,如果数据量没有达到一定的量级,其实直接采用数据库系统即可满 足需求。所以,“咖啡因”系统可以理解为针对海量数据处理的、提供强一致性支持的局部增量更新计算模型。这是其与其他所有Google系统的不同之处。