知识卡片
Evernote从可用性起步
背景:Evernote(2.2 亿用户、120 亿条内容、750 多个 MySQL 实例)在从自建数据中心迁到 GCP 的技术改造中引入 SLO。此前是典型的运维/开发分离,目标冲突、关系紧张;先后试过“你写你运行”和“你写我们替你运行”,最终转向以 SLO 为中心的 SRE 方法——它承认运维与开发是不同的专业,又提供共同参照,让双方面对同样事实时做出相似决定、去掉对话中的主观性。
第一个 SLO 刻意简单:从客户角度问“要坚守哪些承诺?”,聚焦最重要的需求——用户跨客户端访问和同步内容的可用性。SLO 文档包含: - 定义:部分服务与方法按月窗口 99.95% 正常运行;数字来自与客服、产品团队的讨论以及用户反馈;刻意用日历月而非滚动窗口,便于每月服务审核时聚焦; - 测什么:服务内置的状态页(覆盖大部分技术栈,正常返回 200); - 怎么测:用第三方(Pingdom)在环境外部每分钟探测前端节点,北美和欧洲多点;一次失败先标“未确认关闭”,由另一个地理独立的探针复查,再失败才计为停机——测到 GCP 和应用的所有故障,又避免互联网随机抖动造成误报; - 如何从数据算 SLO:例如维护窗口也计为停机——不能假设上亿用户都知道公告的维护时间。
用起来:Evernote 与 Google 每月一起评审上月 SLO 表现、深入分析每次中断,制定常规根因分析可能得不到的改进措施;每六个月复审 SLO 本身(在过于频繁改动与陈旧之间平衡)。指导原则是完美是够好的敌人——覆盖大多数交互的 SLO 已是服务质量的好代理。9 个月内已到第 3 版,下一步计划测量单个 API 调用和客户端视角。
效果:两队有了共同的成功标准。2017 年赶工期时,开发要求把每周发布拆成多个窗口,用 SLO 计算客户影响后,把发布窗口从五个减到两个。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 SLO工程案例研究 · 查看原书依据
在整个过程中,我们的指导原则一直是"完美是良好的敌人"。