知识卡片

普通读书笔记卡

滞后量按分区采集再汇总

理解等级:中级

自建消费组 Lag 监控时,计算单位先是分区,再是主题或组。本书 Kafka 2.0.0 的实现顺序是:定位消费组协调器并查询组元数据,确定所需分区;通过 OffsetFetchRequest 取各分区已提交的 ConsumerOffset;再用消费者 endOffsets 取得对应可读末端;逐分区相减,最后对目标主题下的分区求和。比如两个分区的已提交位移分别是 80、50,可读末端分别是 100、55,则分区 Lag 为 20、5,主题 Lag 为 25。采集时必须把位移按同一主题分区配对,不能先把不同主题或消费组的数据混算;事务隔离下的末端选择见 [[已提交读取用LSO计算滞后]]。例子由书中步骤推算,并非实测。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第10章《Kafka监控》10.2 节(源文件:`_epub-src/OEBPS/Text/chapter11.xhtml`) - 结论依据:原文按 DescribeGroups、OffsetFetch、`endOffsets`、逐分区相减的顺序说明监控实现,并指出主题总体 Lag 可累加各分区;数值是对该计算方法的独立示例。 - 原始内容:最后通过HW与ConsumerOffset相减得到分区的Lag,要获得主题的总体Lag只需对旗下的各个分区累加即可。