知识卡片

普通读书笔记卡 · 1591.a.3

缩短识别与缓解延迟

理解等级:中级

识别延迟:找根因越慢,再次出现、再次被呼叫的机会越大——例如只在每日高峰出现的问题,若下一个高峰前没找到,很可能再来一次。缩短办法: - 好的告警和控制台:呼叫链接到相关控制台,突出系统偏离规格的地方;把黑盒与白盒告警及其图表关联;剧本保持最新,值班者在告警触发时更新剧本; - 练习应急响应:“命运之轮”演练,分享调试技巧; - 小而频繁的发布:比罕见的大变更更容易把 bug 对应到引入它的变更;金丝雀能强烈提示新 bug 是否由新版本引起; - 记录变更:把变更汇总到可搜索的时间线(如 Jenkins 的 Slack 插件); - 请求帮助:值班工程师从不孤单,要让大家觉得求助是安全的。

缓解延迟: - 回滚变更:bug 来自最近的代码或配置发布时,在安全适当时立即回滚(若导致数据损坏,仅回滚还不够)。“快速修复”也需要测试、构建和推出的时间,所以通常“回滚、修复、再前滚”优于“前滚、修复、再前滚”。99.99% 可用性每季度只有约 15 分钟预算,前滚的构建步骤就可能超过 15 分钟;99.999% 每季度只有约 80 秒,需要系统具备自愈能力。尽量避免无法回滚的变更,如 API 不兼容的变更和必须锁步发布的变更; - 功能隔离:设计成功能 X 出问题时可通过功能开关单独关闭,而不影响功能 Y——也能加快发布、简化决策(不必再确认产品经理是否也同意关掉 Y); - 引流请求:把用户请求从出错的部分移走;逐步发布时,可以先摘掉已更新的那部分基础设施,几秒内缓解影响,而回滚可能要几分钟。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第08章《第8章 值班》8 识别延迟;缓解延迟(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/14.html,来源项目 book-sources) - 结论依据:第8章说明识别延迟会导致问题重复出现,给出好的告警与控制台、演练、小步发布与金丝雀、变更时间线、求助等缩短识别延迟的方法;并说明通过回滚优先(以99.99%和99.999%的季度预算说明)、避免不可回滚变更、功能隔离和引流来缩短缓解延迟。 - 原始内容:尽可能避免使用无法回滚的更改,例如与API不兼容的更改和锁步发布。