知识卡片
挑选监控系统看四方面
监控的用途(第一本书第6章):对需要关注的情况告警;调查和诊断;直观展示系统信息;了解资源用量和健康趋势以做长期规划;比较变更前后或实验两组的行为。各用途的相对重要性决定了选型时的取舍;本章聚焦指标与结构化日志两种数据源。
四方面能力: - 速度:数据新鲜度决定多久能收到告警;数据太慢还会让人基于错误数据行动——事件响应时,如果“采取措施”到“看到监控反映”间隔太长,可能误以为改动无效,或推断出错误的因果关系。超过四五分钟的陈旧数据会严重拖慢响应。查询大量数据时检索速度也是问题,能根据入站数据生成并存储新时间序列(预计算常用查询)会很有帮助; - 计算:至少保留数月数据以分析长期趋势(汇总数据即可支撑增长规划;保留全部细粒度数据能回答“以前出现过吗”,但贵且难查)。指标最好是单调递增的计数器,便于计算窗口内的速率——一个月窗口的速率是基于 SLO 消耗告警的基础(第5章)。要支持百分位(50/95/99):平均值只能说明“变慢了”,百分位能告诉你是 50%、5% 还是 1% 的请求慢;不支持时可用总耗时除以请求数近似均值,或扫描/采样日志计算百分位;原始数据可另存做离线分析; - 界面:图表、表格、热图、直方图、对数刻度;按受众提供不同视图(高管与 SRE 看的不同),同类仪表板一致地展示同类数据;支持按机器类型、版本、请求类型等临时切片深挖; - 告警:告警分类和分级以便按比例响应(持续一小时以上的低错误率开工单,100% 错误率立即处理);告警抑制减少噪音——所有节点错误率都高时只发一次全局告警;依赖的后端变慢已在告警时,不必再为自身错误率告警;事件结束后要确保不再抑制。
自建还是第三方:取决于需要多少控制;Google 自研,但开源和商业方案很多。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 监控
原书出处 · 1 处
- 第4章 监控 · 查看原书依据
失效时间超过四到五分钟的数据可能会严重影响您对事件做出响应的速度。