返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 3101.h

本地状态快照支持重分配恢复

理解等级:中级

计算节点把状态留在本地可避免正常处理时的远程读写;为故障恢复或重新分配数据分片,需定期把本地状态做快照并保存到共享存储。节点重启或分片归属变化后,新负责节点读取对应快照并恢复状态,才能继续计算。这种方案把日常访问成本转移为快照与恢复成本;具体恢复一致性仍需单独核对。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第5章5.4.5《基于分布式文件系统的状态管理集群》(源文件:_epub-src/OEBPS/Text/chapter89.xhtml;图5-6:_epub-src/OEBPS/Images/t5-6-i.jpg) - 结论依据:原文描述本地状态后端做 checkpoint 到分布式文件系统,节点数变化后由新节点读取负责分片的快照并恢复,随后继续本地计算。 - 原始内容:所谓checkpoint,是指将本地状态后端的数据做快照(snapshot)之后,保存到分布式文件系统的过程。当集群在节点数变化后再重启时,各个节点首先从分布式文件系统中读取其所负责数据分片所在的快照,再将快照恢复到状态后端