知识卡片

普通读书笔记卡

监控指标须按来源分层

理解等级:中级

设计 Kafka 监控时,可从集群、broker、主题和消费组四个层级观察,再问每项指标属于哪一层、由哪里采集。本书以 Kafka 2.0.0 为背景:broker 与主题的运行速率等指标通过 JMX 的 MBean 取得,集群消息流入速度可汇总各 broker 的对应速率;broker 地址、分区的 AR(分配副本)与 ISR(同步副本)等配置或元数据,需从当时的 ZooKeeper 元数据等渠道取得;磁盘 I/O 等主机指标要由系统监控采集。比如页面同时展示每秒流入消息数、分区 ISR 和磁盘忙碌程度,只连 JMX 无法填满三项。先列出“指标—来源—聚合口径”,可避免把采不到的字段误判为监控程序故障。此处的 ZooKeeper 路径是书中版本的实现细节,不能直接套用于其他部署版本。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第10章《Kafka监控》10.1、10.1.2 节(源文件:`_epub-src/OEBPS/Text/chapter11.xhtml`) - 结论依据:原文分别说明 JMX 的 broker/主题指标与集群汇总、JMX 无法提供的配置和副本信息,以及硬件指标的其他采集入口;页面例子是据这三类来源作的归纳。 - 原始内容:通过JMX可以获取Kafka自身提供的运行状态指标,不过一些配置类信息(如各个broker的IP地址、端口号、JMX端口号、AR信息和ISR信息等)一般无法通过JMX来获取。