← 返回卡片

原书出处

大数据日知录_架构与算法

12 流式计算

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.141Z

Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d