知识卡片
琐事的特征与根因修复
定义:与维护服务有关的重复、可预测、持续不断的任务流。部署、升级、重启、告警分类等不可避免,但不加控制会吞噬团队;Google 把 SRE 花在运维上的时间限制在 50% 以内——这个目标未必适合所有组织,但设上限有好处,因为识别和量化琐事是优化团队时间的第一步。
琐事的特征(以清理满了的 tmp 目录为例): - 手动:工程师登录服务器手动删日志; - 重复:tmp 满不会只发生一次; - 可自动化:写着“登录 X、执行命令、看输出、若……则重启 Y”的补救文档,其实就是伪代码;最好是检测和补救都自动化,更好的是修补软件,让它不再这样坏; - 战术性/被动:大量“磁盘满”“服务器宕机”告警让人分心,还可能掩盖更严重的告警; - 没有持久价值:关掉工单有成就感,但不能防止问题再发生; - 随规模至少同比增长:硬件维修随机群规模增长难免,但软件和配置变更这类辅助工作不必如此。 此外还要考虑对士气的影响——琐事会慢慢侵蚀士气,花在琐事上的时间不是批判性思考和创造的时间(有人不介意,但长期会导致职业停滞和倦怠)。
例子(John Looney 在 Google 的第一份任务):登录坏掉的机器、查原因、修复或送修——任何时候都有超过 2 万台坏机器。第一台的根文件系统被 Google 修补过的网卡驱动刷出的海量日志填满,数千台都是同样问题。他打算写脚本 ssh 上去截断大日志、重启 syslog;同事提醒:掩盖症状的脚本会让人失去解决根因的动力——内核团队的发布测试根本没检查日志量。高级工程师带他去看内核源码,找到出问题的代码,并给内核团队提 bug 改进测试;用每台每小时约 1 美元的成本分析说服开发接受补丁。当晚补丁进了新内核,第二天发布,内核团队一周后更新了测试。组织应当奖励根因修复,而不是只掩盖问题的修复。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 消除琐事工作 · 查看原书依据
理想情况下,您的组织应该对根本原因修复给予奖励,而不是仅仅掩盖问题的修复。