← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1560.b.7

用错误预算排定工作

理解等级:中级

预算耗尽时:按政策执行——常见是停止功能发布直到回到 SLO 内,或把部分/全部工程时间投入可靠性 bug。极端情况下可经高层批准宣布紧急状态,降低所有外部需求的优先级,直到满足退出标准(通常是回到 SLO 内,并已采取措施降低再次超标的概率,如改进监控、测试,消除危险依赖,重新配置以消除已知故障类型)。

用预算衡量事件大小: - 新 API 版本导致 100% NullPointerException,四小时后回滚,日志显示 14,066 个错误——占 97% SLO 下 109,897 个预算的 13%; - 唯一的状态数据库服务器故障,从备份恢复用了 20 小时,估计 72,000 个错误——占 65%; - 假设五年才坏一台服务器,但每年有两三次需要回滚的坏版本——平均而言坏发布消耗的预算是数据库故障的约两倍,投资发布流程比投资服务器故障更划算。

服务稳定且很少需要照看时,可以把它降到较少人工支持的层级(保留事件管理和高层监督),把精力转向更需要 SRE 的系统。

SLO 决策矩阵(SLO 是否达标 × 琐事高低 × 客户满意度): - 达标、琐事低、满意高 → 放宽发布流程提速,或退出参与把时间投向别的服务; - 达标但客户不满意 → 收紧 SLO; - 达标、琐事高、满意高 → 若告警误报就降低灵敏度,否则暂时放宽 SLO(或减负)并修产品/改进自动故障缓解; - 未达标、琐事低、满意高 → 放宽 SLO; - 未达标、琐事低、满意低 → 提高告警灵敏度; - 未达标、琐事高、满意高 → 放宽 SLO; - 未达标、琐事高、满意低 → 减少琐事并修产品/改进自动故障缓解。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第02章《第2章 实施SLO》2 使用SLO和错误预算进行决策(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/07.html,来源项目 book-sources) - 结论依据:第2章决策一节说明预算耗尽后的停发、专注可靠性与宣布紧急状态及退出标准,用两起事件消耗的预算比例比较发布问题与服务器故障的投资价值,提出稳定服务可降级支持,并给出按SLO达标、琐事、客户满意度三维的决策矩阵。 - 原始内容:我们可以估计,平均而言,错误推送的错误预算是数据库故障的两倍。