知识卡片

普通读书笔记卡 · 1578.i

大规模重建暴露恢复瓶颈

理解等级:高级

自动化误把全球机器送去擦盘后,一小时内流量已全部导走,真正难的是恢复:重装用小文件传输协议和最差的网络服务质量等级,不同网卡的 BIOS 要么停住要么反复重启;装机服务每个工作节点只能并行装两台,超时设置也不对,还强制给未擦除的机器重装内核。值班工程师提高安装优先级、自动重启卡住的机器,并把问题升级给开发团队调优。发散:恢复流程要按全量规模演练。参见[[空列表被当作”全部”的自动化事故]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 紧急事件响应 · 查看原书依据

      机器数据库响应了这个请求,于是其他的下线工作流开始迅速执行起来。 这些机器的重新安装是非常缓慢而且不可靠的。这个问题主要由于重装过程使用了小文件传输协议(TFTP),同时使用了最差的网络质量标签(QoS)。每台机器的BIOS系统没有很好地处理传输问题。[42]在不同的网卡上,BIOS要么进入了停止状态(halt),要么进入了一种重启循环(reboot cycle)状态。

    参考来源

    - 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`) - 结论依据:原文描述磁盘擦除事故后重装过程中 TFTP、QoS、BIOS 与装机服务并发度等问题,以及值班与开发的处置措施。 - 原始内容:这些机器的重新安装是非常缓慢而且不可靠的。这个问题主要由于重装过程使用了小文件传输协议(TFTP),同时使用了最差的网络质量标签(QoS)。