知识卡片
数据中心维修自动化
背景:数据中心从少量网络设备演进到基于 Clos 拓扑的软件定义网络,交换机数量剧增;单个故障影响变小,但故障数量压垮了工程师,技术员也困惑:该查哪条链路、换哪块线卡、关掉这台交换机会不会影响用户?
自动化前的线卡维修:检查从交换机移走流量是否安全 → 引流(drain) → 重启或换卡 → 恢复流量(undrain)——教科书式的琐事。多任务中的工程师甚至可能误把未配置的交换机接入网络。问题还包括:团队扩张跟不上故障数;重复操作带来人为错误;无法区分故障严重程度;有些故障是暂时的;新拓扑要求每次手工评估是否会隔离容量。
Saturn 一代:告警不再发给工程师,而是由软件请求引流并为技术员开工单。复用现有告警和工单系统;内置自动风险评估防止引流时意外隔离设备;警告策略:第一次故障只重启卡、重装软件,第二次才换卡退回供应商。技术员在界面上看到红色“停止”,点“准备组件”按钮引流,等红灯消失再换卡,系统自动恢复流量并关单。
Jupiter 一代(规模大 6 倍以上,容量需求约每 12 个月翻倍,冗余也更大):故障时自动引流整台交换机,不再需要技术员按按钮;换件后自动安装和推送配置;恢复前自动验证(复用新建网络时的误码率测试 BERT 和电缆审计);尽量不让技术员参与。统一流程:断开、引流、重启(两种方法);六个月内第二次故障直接送技术员换硬件。内存错误也按同样流程处理,只需在配置中加一种症状。
教训: - 界面不应引入额外开销:“准备组件”按钮没有进度反馈、与交换机真实状态不同步,导致有时引流的交换机没人修、有时在未引流的交换机上操作中断流量;出错时只提示“联系工程”; - 不要依赖人的经验:一位技术员为加快进度,对所有待修线卡并发引流,造成网络拥塞和用户可见丢包——软件没预料到,因为没和新技术员一起测试; - 设计可复用组件,避免一体化设计; - 不要想太多:为区分软件/硬件错误、影响/不影响流量,花了近三年(2012–2015)收集 650 多个内存错误问题的数据;其实对任何错误都“引流、重启、重装,复发再换件”即可——一个季度的数据就表明大多数错误是暂时的; - 不完美的自动化也够用:BERT 不支持网络管理链路,就让它们跳过验证; - 自动化不是一劳永逸:寿命长,要考虑人员更替(Saturn 因 Jupiter 缺件超期服役);基于策略的自动化把意图与通用执行引擎分开,更易演进; - 纵深的风险评估:再加一层二次检查,限制受影响的链路数和设备数,超限自动开 bug——它后来还帮助发现了断电和软件 bug 造成的异常维修率; - 为反琐事自动化设错误预算并争取经理支持; - 全面思考:先看能否简化系统或流程;与真正干活的人一起测试;别让自动化给别的团队制造新琐事(如不必要的工单)。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 消除琐事工作 · 查看原书依据
我们花了近三年的时间(2012--2015)收集了有关650多个离散内存错误问题的数据,然后才意识到此练习可能是过大的,或者至少不应该阻止我们的维修自动化项目。