知识卡片

指标采集频率与长期存储要分开权衡

专业/工作 · 1212.i

内容

在复杂系统里几秒到几十秒内就可能发生足以影响用户的事件,如果每5分钟才采集一次指标,短时的延迟高峰这类事件会被完全错过——采集频率至少应为每60秒一次,流量高的系统应提到30秒甚至10秒。对”采集更频繁会拖累系统”的担忧大多站不住脚,现代硬件能轻松吸收这点额外负载(呼应[[观察者效应在现代系统中已可忽略]]);真正的成本在于把细粒度数据长期留存在磁盘上的开销,所以应对采集频率和长期存储滚动周期分别设定策略,而不是为了省存储反过来降低采集频率、制造监控盲区。发散:这提示”性能担忧”和”成本担忧”经常被混为一谈,实际上该用完全不同的手段分别应对(前者靠硬件余量,后者靠数据生命周期管理)。

参考来源

《监控运维实践 原则与策略-2021》第1章《监控反模式》