知识卡片

普通读书笔记卡 · 1567.b.1.c

自动化让SLO一年铺开

理解等级:中级

宣传:先争取高层支持,再与开发团队一对一会谈,鼓励从各自(多为手工)的指标跟踪转到 VALET;每周发送 VALET 格式的 SLO 报告并附可靠性概念和内部事件教训;内部博客、技术讲座(含 Google SRE)、培训工作坊(后来的 FiRE 学院)、贴纸 T 恤。SLO 被纳入开发经理的年度考核。但数据仍存在电子表格里——要广泛采用必须自动化采集。

自动化: - TPS 报告:把 GCP 上 Web 前端的全部日志(及 Stackdriver 可用性探针等)导入 BigQuery,按小时生成可查询的 VALET 指标,新服务自动注册;还接入聊天机器人,在聊天频道查看服务最近一小时 VALET、与上周对比、哪些服务超出 SLO; - VALET 服务:按日/周/月存储 SLO 数据做趋势分析;各监控平台每天汇总后通过集成 API 上报——缺点是监控系统里的告警阈值没有与 SLO 打通,优点是可灵活更换监控;一半以上注册服务来自本地平台; - VALET 仪表板:注册服务、为五类设目标、添加指标类型(如 P99 或 P90 延迟、每日订单量或每秒峰值交易),跨服务切片查看(如上周所有未达标的服务、某服务及其依赖的延迟);开发据此定期做 SLO 评审,制定行动项或调整不切实际的 SLO。

结果:年初约 50 个服务,年底 800 个,每月新增约 50 个。作者也强调:做不出这么复杂的自动化,也不必害怕——先写 SLO 本身就有价值。

扩展用法:批处理也套用 VALET(处理量、按时完成比例、运行时长、未处理记录、人工修数重跑次数);在演示环境自动做破坏性测试(混沌工程)并记录对 VALET 的影响。

下一步:建立错误预算文化(超标停发新功能),在报告周期与超标频率间找平衡,权衡滚动与固定窗口;按端点和调用方细分 VALET;测量终端用户延迟;部署时用 VALET 做逐级放量的自动校验;可视化依赖调用树;由业务负责人按业务重要性设 SLO,并给出简化档位:99.5%(门店员工不用的应用或新服务 MVP)、99.9%(大多数非销售系统)、99.95%(销售系统及其支撑服务)、99.99%(共享基础设施)。

经验:在大公司引入新流程需要好策略、高层认可、强力宣传、易用的模式和耐心;家得宝作为传统企业做到了,不到一年从 0 到 800 个服务。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第03章《第3章 SLO工程案例研究》3 宣传SLO;自动VALET数据收集;SLO扩散;未来的愿望;摘要(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/08.html,来源项目 book-sources) - 结论依据:第3章家得宝案例说明其SLO宣传方式,用TPS报告(BigQuery与聊天机器人)、VALET服务与仪表板实现自动化采集与评审,一年内从50扩展到800个服务,并将VALET用于批处理和混沌测试,列出后续计划及按业务重要性划分的可用性档位;结论强调SLO文化是持续过程且可按环境定制。 - 原始内容:在年初跟踪了大约50种服务的SLO之后,到今年年底,我们跟踪了800种服务的SLO,每月大约有50种新服务在VALET注册。