知识卡片

普通读书笔记卡 · 1574.c.3

有目的的指标与告警测试

理解等级:中级

SLI 指标是基于 SLO 的告警触发后第一个要看的,应醒目地放在服务仪表板首页。但 SLO 仪表板只告诉你“违反了”,不告诉你“为什么”,还需要以下指标: - 预期的变化:最近的变更最可能出错。监控二进制版本、命令行标志(尤其是开关功能的标志)、动态推送的配置版本;没有版本号就监控最后构建/打包的时间戳。告警链接的图表上能看到部署,比事后翻 CI/CD 日志容易得多; - 依赖:即使自己没变,依赖也会变或出问题。导出每个依赖的请求/响应大小、延迟、响应码(参照四个黄金信号),用标签按响应码、RPC 方法、对端作业分类;最好在底层 RPC 客户端库统一埋点,新依赖自动有监控。对只有一个 Get/Query 这种“万能 RPC”的不透明依赖,要么导出拆包后的指标,要么请依赖方改成按功能拆分的 API; - 饱和度:跟踪所依赖的每种资源——有硬限制的(RAM、磁盘、CPU 配额),没有明确硬限但需管理的(文件描述符、线程池活跃线程、队列等待时间、日志量);按语言加特定指标(Java 堆和元空间、GC;Go 的 goroutine 数);有硬限制或超过阈值会降级时设告警;这些指标也是容量规划的基础; - 服务流量状态:按状态码细分流量;即使不适合告警也要监控全部 HTTP 响应码(某些可能由客户端异常行为引起);有限流/配额时,监控因配额被拒绝的请求数。

每个指标都要有目的:不要因为容易生成就导出。告警用的指标应当只在系统出问题时显著变化;调试指标则用于说明告警时发生了什么。写事后总结时要想:还有什么指标能更快诊断?

测试告警逻辑:监控和告警代码应与业务代码同等测试。Google 用领域特定语言构造合成时间序列,再对派生序列的值或告警触发状态和标签写断言。建议三层:二进制报告(导出变量在条件下是否如期变化)、监控配置(规则评估与告警是否如期)、告警路由(按标签送达预定目的地)。无法合成测试时,可以运行一个导出已知指标的系统来验证——告警规则可能配置后几个月甚至几年都不触发,你需要确信届时它能把有意义的通知发给对的人。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第04章《第4章 监控》4 目的指标;测试警报逻辑;结论(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/09.html,来源项目 book-sources) - 结论依据:第4章目的指标一节建议在SLI之外监控版本与配置变更、依赖(在客户端库统一埋点、拆解不透明API)、资源饱和度(含语言特定资源)、按状态码的流量,强调每个指标都要有目的、告警指标只在出问题时变化,并给出合成时间序列与三层监控测试方法。 - 原始内容:每个暴露的指标都应达到目的。