知识卡片
大规模重建暴露恢复瓶颈
自动化误把全球机器送去擦盘后,一小时内流量已全部导走,真正难的是恢复:重装用小文件传输协议和最差的网络服务质量等级,不同网卡的 BIOS 要么停住要么反复重启;装机服务每个工作节点只能并行装两台,超时设置也不对,还强制给未擦除的机器重装内核。值班工程师提高安装优先级、自动重启卡住的机器,并把问题升级给开发团队调优。发散:恢复流程要按全量规模演练。参见[[空列表被当作”全部”的自动化事故]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 紧急事件响应 · 查看原书依据
机器数据库响应了这个请求,于是其他的下线工作流开始迅速执行起来。 这些机器的重新安装是非常缓慢而且不可靠的。这个问题主要由于重装过程使用了小文件传输协议(TFTP),同时使用了最差的网络质量标签(QoS)。每台机器的BIOS系统没有很好地处理传输问题。[42]在不同的网卡上,BIOS要么进入了停止状态(halt),要么进入了一种重启循环(reboot cycle)状态。
参考来源
- 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`)
- 结论依据:原文描述磁盘擦除事故后重装过程中 TFTP、QoS、BIOS 与装机服务并发度等问题,以及值班与开发的处置措施。
- 原始内容:这些机器的重新安装是非常缓慢而且不可靠的。这个问题主要由于重装过程使用了小文件传输协议(TFTP),同时使用了最差的网络质量标签(QoS)。