知识卡片
日志恢复要定期收束
把状态更新及相应批次信息写入可靠日志,可在任务重启后重放以重建内存。日志不断增长会使恢复越来越慢,因此需要周期保存完整状态快照,再清理快照已经覆盖的日志。快照与日志覆盖边界必须对应,不能先删掉尚未可靠保存的恢复依据。
与[[重试安全不等于状态持久]]的联系:复制日志和快照为丢失内存提供可重建依据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
当一个任务启动时,它回放提交日志来重建内部状态。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第17章《微批量流处理:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/123.xhtml)
- 结论依据:17.3及图17-4介绍复制提交日志,并用定期完整状态保存收束重放长度。
- 原始内容:当一个任务启动时,它回放提交日志来重建内部状态。