知识卡片

普通读书笔记卡 · 5252.a.3

雷击与PagerDuty的实践

理解等级:中级

雷击事件(管理良好的例子):2015 年,闪电在两分钟内四次击中比利时 Google 数据中心附近的电网。备用发电机启动前,服务器靠备用电池供电;但磁盘托盘的 UPS 在第三、四次雷击时因间隔太近没有切换,托盘断电,服务器无法访问重新上电的磁盘,大量 GCE 虚拟机出现读写错误。持久化磁盘 SRE 值班立即宣布重大事件并担任 IC(他们对客户影响看得最清楚)。分析结论:丢失托盘的机器都要重启;托管客户 VM 的机器不能直接重启,需请 GCE SRE 先把未受影响的 VM 迁走。运维任务分三项——恢复电网供电(流程明确,机房值班执行并定期汇报)、重启无 VM 的机器(已有流程)、协调迁移 VM 再重启(无现成流程):IC 指派专人协调两个 SRE 团队,发现需要快速写新工具后又调集更多工程师。沟通负责人分别向公司领导(范围与解决)、存储相关团队(何时可用)、外部客户(主动通知)、已提交工单的客户(具体情况与时间表)报告。后续:查明 UPS 为何失败、更换电池、清理卡住的操作。最终只有断电时尚未落盘的极少量写入丢失——约占运行中 GCE 数据的 0.000001%(快照和云存储多数据中心冗余)。尽早宣布事件并组织有明确领导的应对,罕见复杂事件也能有效处理;IC 把常规问题委派给合适的人,自己专注最复杂的跨团队协调和客户需求。

PagerDuty 的做法(流程公开在 response.pagerduty.com,每隔几个月复审更新): - 小事件一名值班者处理;大事件强调团队合作,不让工程师独自承担; - 失败星期五:受 Netflix 猿猴军团启发,每周注入故障演练,指定受训的 IC,像真实事件一样使用流程和语言; - 限时协作游戏(如《别让炸弹爆炸》)训练高压下的沟通; - 公开事后会议和详尽文档,录下重大事件的所有电话; - 2017 年 10 月一次 NTP 时钟漂移事件:SRE 先按运行手册处理,随后多个软件团队陆续告警,9:49 宣布重大事件,IC 拉来所有依赖 NTP 服务的值班者和客服进专门电话会议与 Slack 频道;运行手册无效后有条不紊地尝试新方案;每四小时轮换值班工程师和 IC,让人休息并带来新想法;次日 5:33 改配置,6:13 确认恢复,事后分析指派给负责服务的 SRE; - 工具:PagerDuty(值班、服务归属、事后报告、事件元数据)、Slack(作战室频道,记录员记录行动、负责人和时间戳)、固定电话会议号(决策在电话中做出、结果记在 Slack,并录音以便重建时间线)。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第09章《第9章 事件响应》9 案例研究3:停电;案例研究4:PagerDuty的事件响应(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/15.html,来源项目 book-sources) - 结论依据:第9章案例3叙述比利时数据中心雷击导致磁盘托盘断电,持久化磁盘SRE作为IC分派三项运维任务、指派专人协调VM迁移并分受众沟通,数据损失极小;案例4介绍PagerDuty的失败星期五演练、限时游戏、事后复盘与录音,以及NTP事件中每四小时轮换IC与值班者、电话决策Slack记录的做法。 - 原始内容:通过尽早宣布事件并组织有明确领导的对策,一组精心管理的人员可以有效地处理这一复杂事件。