知识卡片
指标告警,日志查因
两种数据源的特点: - 指标:按固定间隔采集的数值,粒度粗但几乎实时——适合告警和仪表板; - 日志(这里指结构化日志):仅追加的事件记录,粒度细、数据更准确,但从事件发生到可见有固有延迟——适合查找根因和生成对时间不敏感的详细报告(如 Dataflow 处理、BigQuery 查询、Data Studio 展示)。
建议:即使想对单个异常事件告警,也尽量在事件发生时递增一个计数器指标,再基于指标告警,让所有告警配置集中在一处,便于管理。
三个真实例子:
1. 从日志移到指标(App Engine):HTTP 状态码只在日志里,指标只有全局错误率;排障要看全局图找时间、翻日志找错误行、再手工关联,且日志没有量级感。做法:把状态码作为指标标签导出(requests_total{status=404})——状态码种类有限,不会让指标量爆炸。结果:图上按错误类别分线,客户能快速推断问题;还能对客户端错误和服务器错误设不同阈值,告警更准;
2. 统一日志与指标(Ads SRE,约 50 个多语言服务):用日志作为 SLO 合规的权威来源,每个服务有充满特例的日志处理脚本(5xx 且 SERVER ERROR 有值且未设 DEBUG cookie 且 URL 不含 /reports 且异常不是 PasswordException……),难维护;而告警基于指标,与面向用户的错误对不上,每次告警都要先人工分类。做法:写一个与各框架集成的库,在请求时判断错误是否影响用户,同时写日志和导出指标。结果:工具和告警逻辑复用,去掉特例脚本,告警直接绑定 SLO,误报显著减少;
3. 保留日志:排障要看受影响的实体 ID,但 ID 有数百万种取值,不适合做指标标签(高基数)。做法:写好一次性日志查询脚本,把命令放进告警邮件,可直接复制运行,甚至告警触发时自动运行、定期查询获取半新数据。结果:减少拼查询的认知负担,更快拿到结果(虽不如指标快)。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 监控
原书出处 · 1 处
- 第4章 监控 · 查看原书依据
我们倾向于使用日志来查找问题的根本原因,因为我们经常无法获得所需的信息。