← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1578.b.1

空列表被当成不过滤

理解等级:高级

事件:Google 在托管机房有许多代理/缓存机架,称为“卫星”。机架退役流程会把机器送去磁盘擦除(数据无法恢复)。流程大致是:取出该卫星中所有在用机器 machines = GetMachines(satellite),再把候选集合中匹配该过滤条件的机器送去退役 SendToDecom(candidates=GetAllSatelliteMachines(), filter=machines)。

某个卫星机架的磁盘擦除已成功,但后续退役自动化失败;为调试,团队重新运行了退役流程。第二次运行时,GetMachines 返回空列表(机器已经进入退役流程),而 API 的缺陷把空列表当作“没有过滤条件”,而不是“不作用于任何机器”——几分钟内,全球所有卫星机器的磁盘都被擦除。这些机器无法再接受连接,用户请求直接路由到核心数据中心,延迟略有增加;得益于良好的容量规划,两天重装期间很少有用户察觉。随后花了数周审计,在自动化中加入更多健全性检查,使退役流程幂等。

后续:三年后发生类似事件(大量卫星被引流),首次事后总结的行动项大大缩小了第二次事件的影响范围和发生率。

可迁移的教训: - 破坏性操作的过滤参数,空值语义必须是“什么都不做”,并拒绝缺少约束的请求; - 自动化在“只运行一次”的工作流引擎保护之外,对多个实例/手工重跑也必须幂等; - 破坏性动作需要速率限制、影响范围上限和与其他数据源(如计划中的退役清单)的交叉校验。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第10章《第10章 事后总结文化:从失败中学习》10 案例分析(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/16.html,来源项目 book-sources) - 结论依据:第10章案例以卫星机架退役时重跑流程、GetMachines返回空列表被API当作不过滤而导致全球卫星机器磁盘被擦除为例,说明容量规划使影响有限、事后把流程改为幂等并加检查,三年后类似事件影响显著缩小。 - 原始内容:API bug: an empty list is treated as "no filter", rather than "act on no # machines"