知识卡片
监控处理链路分成查询与聚合
监控数据进入队列后可以分成两条处理路径:一条保留原始记录供检索;另一条解析、聚合数据并写入适合时间序列的存储,最后生成报表。前者便于回查细节,后者适合按时间观察指标趋势,两条路径服务于不同查询目的。队列积压本身也需可观测,见[[有队列就要监控堆积]]。
结构图:
flowchart LR
A[监控数据] --> B[消息队列]
B --> C[查询处理程序]
C --> D[Elasticsearch]
D --> E[Kibana原始数据查询]
B --> F[流式处理程序]
F --> G[解析与聚合]
G --> H[时间序列数据库]
H --> I[Grafana报表]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
一个处理程序接收到数据后,把数据写入到Elasticsearch,然后通过Kibana展示数据,这些数据主要是用来做原始数据的查询。 另一个处理程序是一些流式处理的中间件
参考来源
- 位置:《高并发系统设计40问》第30讲《给系统加上眼睛:服务端监控要怎么做?》(源文件:_epub-src/text/part0035_split_003.html)
- 结论依据:原文描述两个队列消费者:一个将数据写入 Elasticsearch 并由 Kibana 查询;另一个解析、聚合后写入时间序列数据库,再由 Grafana 绘图。
- 原始内容:一个处理程序接收到数据后,把数据写入到Elasticsearch,然后通过Kibana展示数据,这些数据主要是用来做原始数据的查询。 另一个处理程序是一些流式处理的中间件