返回主题:可观测性工程化

知识卡片

普通读书笔记卡 · 1577

短期忍受降级换长期修复

理解等级:未标注

当系统只能靠工程师连续救火维持高可用时,这种状态不可持续。Bigtable 团队曾主动把 SLO 目标 临时调低、关掉大量邮件警报,为修复底层长尾延迟问题争取时间,短期接受可控的可用性下降,换 长期稳定性提升。Gmail 团队也面对相似分歧:该不该写脚本自动应对已知调度器故障?反对者担心 补丁上线后根因修复被无限拖延。发散:应急手段是为根治争取时间还是替代根治,取决于压力缓解 后是否仍坚持修复优先级。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 分布式系统的监控 · 查看原书依据

      为了解决这个问题,团队采用了三阶段方式:首先,在重点提升Bigtable性能的同时,团队临时将SLO目标降低,采用了请求延迟的75%百分位作为SLI。同时关闭了E-mail警报,因为数量巨大,一个一个检测是不可能的。 该策略给团队带来了喘息空间,提供了一些时间修复Bigtable的长期问题,以及底层的存储技术栈,而不是不停地修复一些战术性问题。on-call工程师可以真正做一些事情,而不是整天被紧急警报打断。最终,通过对警报策略的临时性调整使得团队可以更好地优化服务,在未来提供更好的服务质量。 Gmail:可预知的、可脚本化的人工干预 在Gmail服务的早期,整个服务是基于一个分布式进程管理系统构建的,称为“Workqueue”,该系统最初是为搜索索引批处理任务构建的。Workqueue针对长期运行的进程做了一些适应,最终应用于Gmail。但是相对不透明地调度代码中的某些Bug一直没有被消除。 当时,Gmail的监控系统会在某个任务被Workqueue系统干掉时发出警报。即使是在当时,这种配置也很差劲:Gmail有几千个任务,每个任务都代表了百分之几的用户。虽然我们非常关注Gmail用户的体验,但是这样的警报规则是不可持续的。 为了解决这个问题,Gmail SRE构建了一个工具来操作调度器尽量减小对用户的影响。整个团队就这个问题进行了多次讨论:是否应该自动化整个方案?但是一些团队成员坚持认为开发这样的自动化方案会影响对真实问题的最终修复。 团队中出现的这种冲突是合理的,这反映出团队自我约束方面的信任危机:一些团队成员想要实现某种“hack”从而为真正的修复方案争取时间,而另外一些成员则担心实现这个“hack”会使得真正的修复优先级无限降低。这种担心是正确的,确实这种打补丁的形式会造成无法维护的系统债务。管理者和技术领导者在这个过程中应该起到直接作用,在紧急警报带来的压力减轻之后应该继续支持和优先处理那些长期修复问题的工作。

    参考来源

    - 位置:《SRE:Google运维解密》第6章《分布式系统的监控》"Bigtable SRE:警报过多的案例"和"Gmail:可预知的、可脚本化的人工干预"两节(源文件:_epub-src/OEBPS/Text/0008_0004.xhtml) - 结论依据:原文描述 Bigtable 团队临时降低 SLO、改用75%百分位并关闭邮件警报以换取修复时间;Gmail 案例中团队成员担心自动化"hack"会使真正的修复优先级无限降低,两案例共同支撑"短期降级换长期修复"的结论。 - 原始内容:"团队临时将SLO目标降低,采用了请求延迟的75%百分位作为SLI。同时关闭了E-mail警报……该策略给团队带来了喘息空间,提供了一些时间修复Bigtable的长期问题……一些团队成员想要实现某种“hack”从而为真正的修复方案争取时间,而另外一些成员则担心实现这个“hack”会使得真正的修复优先级无限降低。"