知识卡片
有目的的指标与告警测试
SLI 指标是基于 SLO 的告警触发后第一个要看的,应醒目地放在服务仪表板首页。但 SLO 仪表板只告诉你“违反了”,不告诉你“为什么”,还需要以下指标:
- 预期的变化:最近的变更最可能出错。监控二进制版本、命令行标志(尤其是开关功能的标志)、动态推送的配置版本;没有版本号就监控最后构建/打包的时间戳。告警链接的图表上能看到部署,比事后翻 CI/CD 日志容易得多;
- 依赖:即使自己没变,依赖也会变或出问题。导出每个依赖的请求/响应大小、延迟、响应码(参照四个黄金信号),用标签按响应码、RPC 方法、对端作业分类;最好在底层 RPC 客户端库统一埋点,新依赖自动有监控。对只有一个 Get/Query 这种“万能 RPC”的不透明依赖,要么导出拆包后的指标,要么请依赖方改成按功能拆分的 API;
- 饱和度:跟踪所依赖的每种资源——有硬限制的(RAM、磁盘、CPU 配额),没有明确硬限但需管理的(文件描述符、线程池活跃线程、队列等待时间、日志量);按语言加特定指标(Java 堆和元空间、GC;Go 的 goroutine 数);有硬限制或超过阈值会降级时设告警;这些指标也是容量规划的基础;
- 服务流量状态:按状态码细分流量;即使不适合告警也要监控全部 HTTP 响应码(某些可能由客户端异常行为引起);有限流/配额时,监控因配额被拒绝的请求数。
每个指标都要有目的:不要因为容易生成就导出。告警用的指标应当只在系统出问题时显著变化;调试指标则用于说明告警时发生了什么。写事后总结时要想:还有什么指标能更快诊断?
测试告警逻辑:监控和告警代码应与业务代码同等测试。Google 用领域特定语言构造合成时间序列,再对派生序列的值或告警触发状态和标签写断言。建议三层:二进制报告(导出变量在条件下是否如期变化)、监控配置(规则评估与告警是否如期)、告警路由(按标签送达预定目的地)。无法合成测试时,可以运行一个导出已知指标的系统来验证——告警规则可能配置后几个月甚至几年都不触发,你需要确信届时它能把有意义的通知发给对的人。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 监控
原书出处 · 1 处
- 第4章 监控 · 查看原书依据
每个暴露的指标都应达到目的。