知识卡片

普通读书笔记卡 · 1630.a.3

分级备份的保留策略

理解等级:中级

第一级备份:高频、几分钟可恢复,放在离线上存储最近处、技术相似,防大部分软件 Bug 和开发者错误,成本高,只留几小时到 10 天。第二级:频率较低,放本地分布式文件系统,留数天到两周(每周发布两次就留一两周),防存储自身问题和发现较晚的 Bug。之后是磁带库和异地冷存储,防单个部署点故障。全量备份放在非峰值,繁忙时做增量。Google 多数服务保留 30~90 天。发散:越往后越便宜、越慢、存得越久。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第26章 数据完整性:读写一致 · 查看原书依据

      将以上针对24种组合的预防建议总结得出:以合理成本满足一系列广泛的数据恢复场景都需要分级备份。第一级备份是那些备份频率很高,并且可以快速恢复的备份。这些备份保存在与线上数据存储距离最近的地方,使用与数据存储相同或者是非常相似的存储技术。这样可以为大部分的软件Bug,以及开发者错误的场景提供保护。由于成本相对较高,备份在这一层只会保留数小时,最多10天之内,恢复时间在几分钟内。 第二级备份的频率较低,只保留一位数或者两位数字的天数。第二级备份保存在当前部署点的随机读写分布式文件系统上。这些备份可能需要数个小时来备份,是用来为服务所使用的数据存储出现的相关问题提供额外保护的,但是要注意,这无法为用来保存备份的技术栈自身的问题提供保护。这一级别的备份也可以用来针对那些检测时间太晚的应用程序Bug,以至于无法使用上一级别的备份恢复的问题。如果新版本的发布时间一般是一周两次,那么保存一周到两周再删除这种备份可能是合理的。 接下来的级别会使用冷存储,包括固定的磁带库以及异地备份存储设施(不管是磁带,还是磁盘)。这些级别的备份可以保护单个部署点级别的故障,例如数据中心电源故障,或者是Bug造成的分布式文件系统的数据损坏。 在不同的层级中转移大量数据是很昂贵的,但是后续层级的数据存储容量并不会与生产系统线上数据容量竞争。所以,后续层级的备份数据通常产生的频率很低,但是可以保存的时间更长。

    参考来源

    - 位置:《SRE:Google运维解密》第26章《数据完整性:读写一致》(源文件:`_epub-src/OEBPS/Text/0009_0017.xhtml`) - 结论依据:原文列出备份设计的关键决策,描述三个备份层级的频率、位置、保留期与防护对象,并给出 30~90 天的保留区间。 - 原始内容:Google将大部分服务的备份周期定于30~90天之间。