知识卡片
黑盒探针弥补白盒监控的盲区
内容
白盒监控只能看到系统已处理的请求，看不到因DNS故障而从未发出的请求，或进程崩溃前就丢失的 错误，报警策略也只能覆盖工程师能想到的情况。为弥补盲区，需部署主动探针模拟真实用户请求并 校验结果，直接向报警系统报告。同时在负载均衡器前后两个位置部署探针，能区分”某个数据中心 局部问题”还是”整个服务对外不可用”：前面探测正常、后面探测到问题，说明故障被局部隔离了。
参考来源
- 位置：《SRE：Google运维解密》第10章《基于时间序列数据进行有效报警》（源文件：_epub-src/OEBPS/Text/0009_0001.xhtml）
- 结论依据：原文指出白盒监控无法看到DNS故障未发出的请求或崩溃前丢失的错误，因此SRE团队用探针程序主动探测，并通过同时探测负载均衡器前后两个位置来区分局部问题与全局问题。
- 原始内容：白盒监控只能看到已经接收到的请求，并不能看到由于DNS故障导致没有发送成功的请求……探针程序既可以直接探测前端，也可以探测负载均衡服务后面的服务……我们可以知道当某个数据中心出现问题时，整个www.google.com依然工作，同时也可以在发生全局问题时，快速定位某个具体的数据中心。