知识卡片
空列表被当成不过滤
事件:Google 在托管机房有许多代理/缓存机架,称为“卫星”。机架退役流程会把机器送去磁盘擦除(数据无法恢复)。流程大致是:取出该卫星中所有在用机器 machines = GetMachines(satellite),再把候选集合中匹配该过滤条件的机器送去退役 SendToDecom(candidates=GetAllSatelliteMachines(), filter=machines)。
某个卫星机架的磁盘擦除已成功,但后续退役自动化失败;为调试,团队重新运行了退役流程。第二次运行时,GetMachines 返回空列表(机器已经进入退役流程),而 API 的缺陷把空列表当作“没有过滤条件”,而不是“不作用于任何机器”——几分钟内,全球所有卫星机器的磁盘都被擦除。这些机器无法再接受连接,用户请求直接路由到核心数据中心,延迟略有增加;得益于良好的容量规划,两天重装期间很少有用户察觉。随后花了数周审计,在自动化中加入更多健全性检查,使退役流程幂等。
后续:三年后发生类似事件(大量卫星被引流),首次事后总结的行动项大大缩小了第二次事件的影响范围和发生率。
可迁移的教训: - 破坏性操作的过滤参数,空值语义必须是“什么都不做”,并拒绝缺少约束的请求; - 自动化在“只运行一次”的工作流引擎保护之外,对多个实例/手工重跑也必须幂等; - 破坏性动作需要速率限制、影响范围上限和与其他数据源(如计划中的退役清单)的交叉校验。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 事后总结文化:从失败中学习 · 查看原书依据
API bug: an empty list is treated as "no filter", rather than "act on no # machines