知识卡片
用历史基线判断异常是否真的异常
内容
一次严重的代码缺陷造成YouTube全球停机后,调查人员一度担心它是否在全网范围内推高了内存溢出(OOM)的数量,但把当天的OOM数据和前两周的基线一比对,发现每天本就存在大量OOM——这次事故虽然严重,却根本没有让这项指标偏离正常范围。没有历史基线做参照,任何一个看起来吓人的数字都可能被误判成信号,而实际上它只是系统一直以来的背景噪声,真正的问题出在别处。
参考来源
- 位置:《Google系统架构解密:构建安全可靠的系统》第15章《调查系统》15.1.2节了解系统的正常情况(源文件:`../OREILY动物书合辑 图灵新版/_epub-src/text/part0014_split_121.html`)
- 结论依据:原文以第1章描述的日志库变更导致YouTube全局中断为例,说明"虽然日志显示那天有很多OOM的情况,但将这些数据与前两周的基线数据对比后,我们发现每天有很多OOM的情况发生。尽管这个缺陷很严重,但它并没有对Borg任务的OOM度量指标产生任何影响"。
- 原始内容:虽然日志显示那天有很多OOM的情况,但将这些数据与前两周的基线数据对比后,我们发现每天有很多OOM的情况发生。尽管这个缺陷很严重,但它并没有对Borg任务的OOM度量指标产生任何影响。