← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1574.c.1

指标告警,日志查因

理解等级:中级

两种数据源的特点: - 指标:按固定间隔采集的数值,粒度粗但几乎实时——适合告警和仪表板; - 日志(这里指结构化日志):仅追加的事件记录,粒度细、数据更准确,但从事件发生到可见有固有延迟——适合查找根因和生成对时间不敏感的详细报告(如 Dataflow 处理、BigQuery 查询、Data Studio 展示)。

建议:即使想对单个异常事件告警,也尽量在事件发生时递增一个计数器指标,再基于指标告警,让所有告警配置集中在一处,便于管理。

三个真实例子: 1. 从日志移到指标(App Engine):HTTP 状态码只在日志里,指标只有全局错误率;排障要看全局图找时间、翻日志找错误行、再手工关联,且日志没有量级感。做法:把状态码作为指标标签导出(requests_total{status=404})——状态码种类有限,不会让指标量爆炸。结果:图上按错误类别分线,客户能快速推断问题;还能对客户端错误和服务器错误设不同阈值,告警更准; 2. 统一日志与指标(Ads SRE,约 50 个多语言服务):用日志作为 SLO 合规的权威来源,每个服务有充满特例的日志处理脚本(5xx 且 SERVER ERROR 有值且未设 DEBUG cookie 且 URL 不含 /reports 且异常不是 PasswordException……),难维护;而告警基于指标,与面向用户的错误对不上,每次告警都要先人工分类。做法:写一个与各框架集成的库,在请求时判断错误是否影响用户,同时写日志和导出指标。结果:工具和告警逻辑复用,去掉特例脚本,告警直接绑定 SLO,误报显著减少; 3. 保留日志:排障要看受影响的实体 ID,但 ID 有数百万种取值,不适合做指标标签(高基数)。做法:写好一次性日志查询脚本,把命令放进告警邮件,可直接复制运行,甚至告警触发时自动运行、定期查询获取半新数据。结果:减少拼查询的认知负担,更快拿到结果(虽不如指标快)。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第04章《第4章 监控》4 监控数据来源;例子(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/09.html,来源项目 book-sources) - 结论依据:第4章监控数据来源一节比较指标(近实时、用于告警)与结构化日志(细粒度、用于查因与报表),建议单个事件也通过计数器指标告警,并以App Engine状态码转为标签、Ads统一库同时产出日志与指标、高基数实体ID保留在日志并预置查询脚本三个例子说明取舍。 - 原始内容:我们倾向于使用日志来查找问题的根本原因,因为我们经常无法获得所需的信息。