← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1589

黑盒探针弥补白盒监控的盲区

理解等级:未标注

白盒监控只能看到系统已处理的请求,看不到因DNS故障而从未发出的请求,或进程崩溃前就丢失的 错误,报警策略也只能覆盖工程师能想到的情况。为弥补盲区,需部署主动探针模拟真实用户请求并 校验结果,直接向报警系统报告。同时在负载均衡器前后两个位置部署探针,能区分”某个数据中心 局部问题”还是”整个服务对外不可用”:前面探测正常、后面探测到问题,说明故障被局部隔离了。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 基于时间序列数据进行有效报警 · 查看原书依据

      白盒监控只能看到已经接收到的请求,并不能看到由于DNS故障导致没有发送成功的请求,或者是由于软件服务器崩溃而没有返回的错误。同时,报警策略也只包含了工程师能想到的错误情况。 Google SRE团队通常利用探针程序(prober)解决了该问题。探针程序使用应用级别的自动请求探测目标是否成功返回。这些探针可以直接向报警管理服务发送Alert RPC,也可以由Borgmon收集其结果信息。探针程序还可以针对返回结果进行应用级别的校验。例如检查HTTP回复中的HTML结果。探针程序甚至可以将结果中的值取出作为timeseries暴露给Borgmon使用。SRE团队经常使用探针程序收集响应速度的直方图和回复大小,以便观察最终用户可见的性能指标。探针程序是一种检查测试模型和一些高级time-series创建功能的混合体。

    参考来源

    - 位置:《SRE:Google运维解密》第10章《基于时间序列数据进行有效报警》(源文件:_epub-src/OEBPS/Text/0009_0001.xhtml) - 结论依据:原文指出白盒监控无法看到DNS故障未发出的请求或崩溃前丢失的错误,因此SRE团队用探针程序主动探测,并通过同时探测负载均衡器前后两个位置来区分局部问题与全局问题。 - 原始内容:白盒监控只能看到已经接收到的请求,并不能看到由于DNS故障导致没有发送成功的请求……探针程序既可以直接探测前端,也可以探测负载均衡服务后面的服务……我们可以知道当某个数据中心出现问题时,整个www.google.com依然工作,同时也可以在发生全局问题时,快速定位某个具体的数据中心。