← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1578.b

空列表被当作"全部"的自动化事故

理解等级:未标注

一次机架退役操作在重启调试时,程序把需要清空的机器列表算成了空列表,而磁盘清除系统把空列表 特殊解释为”全部”,几分钟内高效地把整个colo里几乎所有机器的磁盘全部擦除。事故根源是空列表被 赋予了”全部”的特殊含义,一个边界输入悄悄把操作范围扩大到了整个机房。事后补的合理性检查、 限速、幂等性三重防护,本质是给自动化装上操作范围异常扩大时自动刹车的护栏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 Google 的自动化系统的演进 · 查看原书依据

      很久以前,负责某个特定机架退役的自动化系统出现了问题,但只有磁盘擦除步骤已经成功完成。随后,清退过程被重启,以调试为什么失败。在这次操作中,当该程序试图给磁盘清除系统发送机架中的机器列表时,代码得出需要进行清空的机器列表是(正确的)空的。不幸的是,空列表有着特殊含义,它被解释为“所有”。这意味着自动化系统几乎将colo中的所有机器都送去进行磁盘清除了。 几分钟内,高效的磁盘清除程序擦除了我们的CDN上所有机器的磁盘,这些机器再也不能终止用户连接了(或做任何有用的事情)。我们仍然可以从我们自己的数据中心来服务全体用户,事实上几分钟后对外部的唯一影响就是会有轻微的延迟增加。据我们所知,由于良好的容量规划,很少有用户注意到这个问题(至少我们这一点做得不错!)。接下来,我们花费了大概两天时间重装受影响的colo机架上的机器;然后我们又将接下来的几周时间用来进行代码审计,在我们的自动化系统中添加更多的合理性检查,包括速率限制,以及使整个退役流程具有幂等性。

    参考来源

    - 位置:《SRE:Google运维解密》第7章《Google 的自动化系统的演进》补充材料"自动化:允许大规模故障发生"(源文件:_epub-src/OEBPS/Text/0008_0005.xhtml) - 结论依据:原文描述该事故中,机器列表在调试重启时被算成空列表,而空列表被系统解释为"所有",导致colo中几乎所有机器被送去磁盘清除;事后补充了合理性检查、速率限制、幂等性三项防护。 - 原始内容:“代码得出需要进行清空的机器列表是(正确的)空的。不幸的是,空列表有着特殊含义,它被解释为‘所有’……我们又将接下来的几周时间用来进行代码审计,在我们的自动化系统中添加更多的合理性检查,包括速率限制,以及使整个退役流程具有幂等性。”