知识卡片
监控管线分采集存储展示
自建 Kafka 监控的主路径是“多源数据 → 采集与计算 → 存储 → 展示与告警”。采集器汇合 JMX 运行指标、书中版本的 ZooKeeper/消费组元数据和主机指标,再按分区或 broker 汇总、归一化;Kafka 未提供的业务重试数等指标可由应用 SDK 自报。存储层保留历史序列以支持趋势与聚合;页面读取结果并触发阈值告警。书中允许展示层直接读采集层或数据源,但这会失去存储层提供的历史查询能力;是否这样做应按所需时效和历史分析取舍。图示只表达书中模块关系,不表示已经部署该监控系统。
结构图:
flowchart LR
A[Kafka JMX] --> D[采集与计算]
B[元数据与消费位移] --> D
C[主机监控] --> D
D --> E[时序与专用存储]
E --> F[展示与告警]
D -.实时直连.-> F
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第10章《Kafka监控》10.5 节及图 10-11(源文件:`_epub-src/OEBPS/Text/chapter11.xhtml`;图片:`_epub-src/OEBPS/Images/371_2.jpg`)
- 结论依据:原文按采集、存储、展示三部分描述监控架构,并逐项列出 JMX、ZooKeeper、消费组内部主题与第三方硬件监控作为数据源;图 10-11 证实主路径及可选存储模块。
- 原始内容:Kafka 的监控架构主要分为数据采集、数据存储和数据展示这 3 个部分。