知识卡片
用错误预算排定工作
预算耗尽时:按政策执行——常见是停止功能发布直到回到 SLO 内,或把部分/全部工程时间投入可靠性 bug。极端情况下可经高层批准宣布紧急状态,降低所有外部需求的优先级,直到满足退出标准(通常是回到 SLO 内,并已采取措施降低再次超标的概率,如改进监控、测试,消除危险依赖,重新配置以消除已知故障类型)。
用预算衡量事件大小: - 新 API 版本导致 100% NullPointerException,四小时后回滚,日志显示 14,066 个错误——占 97% SLO 下 109,897 个预算的 13%; - 唯一的状态数据库服务器故障,从备份恢复用了 20 小时,估计 72,000 个错误——占 65%; - 假设五年才坏一台服务器,但每年有两三次需要回滚的坏版本——平均而言坏发布消耗的预算是数据库故障的约两倍,投资发布流程比投资服务器故障更划算。
服务稳定且很少需要照看时,可以把它降到较少人工支持的层级(保留事件管理和高层监督),把精力转向更需要 SRE 的系统。
SLO 决策矩阵(SLO 是否达标 × 琐事高低 × 客户满意度): - 达标、琐事低、满意高 → 放宽发布流程提速,或退出参与把时间投向别的服务; - 达标但客户不满意 → 收紧 SLO; - 达标、琐事高、满意高 → 若告警误报就降低灵敏度,否则暂时放宽 SLO(或减负)并修产品/改进自动故障缓解; - 未达标、琐事低、满意高 → 放宽 SLO; - 未达标、琐事低、满意低 → 提高告警灵敏度; - 未达标、琐事高、满意高 → 放宽 SLO; - 未达标、琐事高、满意低 → 减少琐事并修产品/改进自动故障缓解。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 实施SLO · 查看原书依据
我们可以估计,平均而言,错误推送的错误预算是数据库故障的两倍。