知识卡片

普通读书笔记卡 · 5247

带外通道须可靠且常演练

理解等级:中级

一次配置推送让对外服务和公司内网同时崩溃,值班工程师纷纷赶到一间有生产环境专线连接的“安全屋”。带外通信系统保证了复杂软件故障下每个人仍能保持联络,命令行工具等备用访问方式则保证了其他途径都不可用时仍能更新和回滚。教训是:SRE 要长期维持一些非常可靠、低成本的备份访问系统,并且更频繁地演练,否则关键时刻不熟悉。发散:恢复通道不能与生产系统共享故障。参见[[未经测试的回滚等于没有回滚]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 紧急事件响应 · 查看原书依据

      问题被检测到之后,应急响应流程处理得当,其他人得到了清晰和及时的事态更新。我们的带外通信系统(out-of-band,指专线数据中心连接)保证了在复杂软件问题下,每个人都能保持连接。这次经历提醒了我们,SRE为什么要保持一些非常可靠的、低成本备份访问系统运行,因为我们在这种情况下就会用到! 在这些带外通信系统之外,Google还有命令行工具和其他的访问方式确保我们能够在其他条件无法访问的时候进行更新和变更回滚。这些工具和访问方式在这次事故中起到了重大作用,但是工程师应该更加频繁地测试,以便更为熟悉它们。

    参考来源

    - 位置:《SRE:Google运维解密》第13章《紧急事件响应》(源文件:`_epub-src/OEBPS/Text/0009_0004.xhtml`) - 结论依据:原文记录事故中带外通信与命令行工具发挥关键作用,并总结应保持可靠低成本的备份访问系统、工程师应更频繁地测试和熟悉它们。 - 原始内容:我们的带外通信系统(out-of-band,指专线数据中心连接)保证了在复杂软件问题下,每个人都能保持连接。这次经历提醒了我们,SRE为什么要保持一些非常可靠的、低成本备份访问系统运行,因为我们在这种情况下就会用到!