原书出处
大数据日知录_架构与算法
12 流式计算
Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d