知识卡片

Percolator机制

普通读书笔记卡 · 1782.c

内容

Percolator 在 BigTable 上加入跨行事务和观察/通知机制。事务保证增量更新的一致性,观察者把数据变化触发成后续处理流程,使索引从周期性全量重建转向持续更新。

参考来源

- 位置:《大数据日知录:架构与算法》第17章《增量计算》"17.2 Percolator"一节(源文件:_epub-src/OEBPS/text00022.html) - 结论依据:原文明确"Percolator在Bigtable的'行事务'支持的基础上实现了跨行跨表的事务支持,所以提供了对数据处理的强一致性服务",并说明其"提供了两种功能:首先是能够对数据进行随机存取,并提供对数据处理的ACID事务支持,其次是提供了类似于'观察/通知'方式的整体计算结构",观察者机制"将完成一项任务所需的所有步骤串接起来","新的索引更新周期比原先的方式快了大约100倍左右",即从周期性全量重建转为持续更新。 - 原始内容:Percolator在Bigtable的"行事务"支持的基础上实现了跨行跨表的事务支持,所以提供了对数据处理的强一致性服务……为了能够支持对海量数据的增量更新,Percolator主要提供了两种功能:首先是能够对数据进行随机存取,并提供对数据处理的ACID事务支持,其次是提供了类似于"观察/通知"方式的整体计算结构……新的索引更新周期比原先的方式快了大约100倍左右。