知识卡片
海量恢复是一场后勤战
Google Music 误删事故中,开发者找 Bug、资深 SRE 并行恢复,因为不修根因恢复是白做,等根因又太慢。60 万个文件只有约 43.6 万有备份,要从异地调回 5000 多盘磁带、约 1.5PB 数据;恢复被拆成 5475 个任务,只能写代码批量提交;演习中验证过人工装带比机械臂快;还漏取了 1862 盘、遇到 17 盘坏带,靠冗余编码补救。7 天恢复完毕,无备份部分让客户端重新上传。发散:瓶颈常在卡车和人手。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 数据完整性:读写一致 · 查看原书依据
第一批数据的恢复。数据恢复团队确认了备份磁带之后,第一批数据恢复在3月8日正式开始了。从分布在异地离线存储设施中的几千盘磁带中请求超过1.5PB的数据看起来很难,从这些磁带中真正读取数据就更难了。Google自己定制的磁带备份软件设计时没有考虑过这么大的恢复任务,所以第一批数据的恢复过程被切分成5,475个小任务。如果由人每分钟输入一条命令,光输入就需要超过三天的时间。人在这个过程中很可能还会引入很多错误。仅仅是这一点准备工作,就需要SRE写代码来完成。[98] 在3月9日午夜的时候,SRE终于将5,475个恢复请求输入了系统中。磁带备份系统计算了4个小时,得出5,337盘磁带需要从异地存储设施中恢复。8小时后,一系列卡车运载着这些磁带抵达了数据中心。
参考来源
- 位置:《SRE:Google运维解密》第26章《数据完整性:读写一致》(源文件:`_epub-src/OEBPS/Text/0009_0017.xhtml`)
- 结论依据:原文描述 Google Music 恢复过程的并行分工、磁带调运、任务拆分与脚本化、人工装载与坏带补救及最终耗时。
- 原始内容:仅仅花了7天时间,我们恢复了1.5PB的用户数据,7天之内的5天用于真正的数据恢复操作。