知识卡片

操作参考卡 · 1554.d.2

错误预算政策示例

理解等级:中级

示例游戏服务(后端每天发布,客户端每周发布,政策同时适用两者)的错误预算政策:

目标:保护客户免受反复的 SLO 未达标;鼓励在可靠性与其他功能之间取得平衡。非目标:不是对未达标的惩罚——停止变更并不可取,政策只是让团队在数据表明可靠性比其他功能更重要时专注于可靠性。

SLO 未达标政策(中文本误译为“SLO小姐政策”): - 达到或优于 SLO:按发布政策继续发布(含数据变更); - 超出过去四周的错误预算:停止除 P0 问题和安全修复外的所有变更和发布,直到服务回到 SLO 之内; - 视原因可投入更多资源做可靠性。必须做可靠性的情况:代码或流程错误让服务自身超出预算;事后总结发现可以软化硬依赖;错误分类导致本应让服务未达标的错误没被计入预算; - 可以继续做功能的情况:中断由全公司网络问题引起;中断由另一团队维护的服务引起,且该团队已冻结发布解决自身问题;预算被 SLO 范围外的用户消耗(如负载测试、渗透测试);错误分类导致没有影响用户的错误消耗了预算。

中断政策(中文本译作“停运政策”):单个事件在四周内消耗超过 20% 的错误预算,必须做事后总结,且至少包含一个解决根因的 P0 行动项;某一类中断在一个季度内消耗超过 20% 的预算,下季度计划文档中必须有解决它的 P0 项目(Google 的季度计划是公开的,团队要对计划负责)。P0 是最高优先级:全员上阵,放下一切直到解决。

升级政策:各方对错误预算的计算或其规定的具体措施有分歧时,上报 CTO 决定。

背景:错误预算是平衡可靠性与创新速度的工具;变更是不稳定的主要来源,约占中断的 70%,功能开发与稳定性工作相互竞争,错误预算是按需转移对稳定性关注的控制机制。错误预算 = 1 − SLO:99.9% 的 SLO 预算为 0.1%,四周 1,000,000 个请求即 1,000 个错误。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第24章《附录B 错误预算政策示例》附录B 错误预算政策示例(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/31.html,来源项目 book-sources) - 结论依据:附录B给出示例错误预算政策:目标为保护客户和平衡可靠性与功能且非惩罚;超出四周预算则冻结除P0和安全修复外的变更,并列出必须做可靠性与可继续做功能的情形;单事件超20%预算需事后总结含P0行动项,同类中断季度超20%需下季度P0项目;分歧上报CTO。 - 原始内容:如果单个事件在四个星期内消耗了错误预算的20%以上,则团队必须进行事后调查。