知识卡片

结构图卡

消费组协调器随位移分区定位

理解等级:中级

在本书 Kafka 2.0.0 的组协议中,消费者用组名 groupId 查找组协调器。服务端先对组名求哈希,映射到内部主题 __consumer_offsets 的一个分区,再把该分区 leader 所在的 broker 作为 GroupCoordinator。组成员的分配方案和提交位移也交给这个 broker,因此协调与保存组状态可以在同一节点完成。这里的映射对象是消费组,不是业务主题的某个消息分区;内部主题分区的 leader 改变时,协调器也可能迁移。

结构图:

flowchart LR
  A[消费组 groupId] --> B[哈希映射到 __consumer_offsets 分区]
  B --> C[查该分区的 leader broker]
  C --> D[GroupCoordinator 管理组成员]
  C --> E[保存组方案与提交位移]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第7章《深入客户端》7.2.2 节(源文件:`_epub-src/OEBPS/Text/chapter8.xhtml`;代码图 `268_2.jpg`) - 结论依据:原文先说明按 groupId 哈希定位内部位移主题的分区,再由该分区 leader 所在 broker 承担协调与保存职责;代码图核对了分区映射公式。 - 原始内容:找到对应的__consumer_offsets中的分区之后,再寻找此分区leader副本所在的broker节点,该broker节点即为这个groupId所对应的GroupCoordinator节点。消费者groupId最终的分区分配方案及组内消费者所提交的消费位移信息都会发送给此分区leader副本所在的broker节点