知识卡片
旧版消费者监听缺统一视图
旧版 Kafka 消费者各自监听 ZooKeeper 中的组成员和 broker 节点,状态变化时全组成员会分别执行再均衡,却不知道彼此的操作结果。一个变化还可能向大量 Watcher 发通知,拖慢其他操作;各消费者若在同一时刻读到不同的状态,也可能得出冲突的分配判断。问题的共同根源是缺少一个能给全组建立一致视图并协调分配的角色,后续消费者协调器与组协调器正是为此引入。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第7章《深入客户端》7.2.1 节(源文件:`_epub-src/OEBPS/Text/chapter8.xhtml`)
- 结论依据:原文说明旧版每个消费者注册 Watcher 并独立再均衡,同时列出羊群效应和状态不一致问题;下一节引入协调器。
- 原始内容:这种方式下每个消费者对ZooKeeper的相关路径分别进行监听,当触发再均衡操作时,一个消费组下的所有消费者会同时进行再均衡操作,而消费者之间并不知道彼此操作的结果,这样可能导致Kafka工作在一个不正确的状态。