知识卡片
本地状态配合变更日志恢复
Samza可把状态保存在本地LevelDB等存储,同时把变化写入Kafka日志,在节点失效后重建状态。本地数据库解决高效状态访问,远端日志解决跨机器恢复;状态更新、变更日志和消费偏移之间的边界决定重放是否重复或漏算。不能把本地落盘直接当成分布式容错完成。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落128(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。