知识卡片

普通读书笔记卡 · 5423.a

本地状态配合变更日志恢复

理解等级:高级

Samza可把状态保存在本地LevelDB等存储,同时把变化写入Kafka日志,在节点失效后重建状态。本地数据库解决高效状态访问,远端日志解决跨机器恢复;状态更新、变更日志和消费偏移之间的边界决定重放是否重复或漏算。不能把本地落盘直接当成分布式容错完成。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落128(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Samza除了可以支持如Leveldb等外部键值数据库来进行状态持久化外,还采取了一种比较巧妙的方式。因为Samza是搭建在消息系统Kafka和Hadoop YARN之上的,而Kafka是提供消息持久化和容错机制的,所以Samza将状态持久化也采用消息队列的机制来处理,即某个计算节点可以将其状态信息形成Kafka的一个消息队列,这样由Kafka来保证状态信息的持久性和可恢复性。如果某个节点发生故障,YARN会在另一个节点的容器中重新启动服务,并从Kafka对应的存储该节点状态信息的消息队列中恢复节点状态。