知识卡片

普通读书笔记卡

集中监听减轻协调负担

理解等级:高级

早期 Kafka 让每个 broker 在 ZooKeeper 上监听大量分区与副本状态,单次变化可能唤醒许多无关监听器,并增加 ZooKeeper 负载。本书所述控制器设计把主要分区、主题和 broker 变化的监听交给控制器,再由它管理元数据并同步给其他 broker;普通 broker 仍监听 /controller 以感知控制器变更。集中监听减少重复协调和羊群效应,但也使控制器的事件处理与故障恢复成为关键路径。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第6章《深入服务端》6.4.1 节(源文件:`_epub-src/OEBPS/Text/chapter7.xhtml`;图 6-14:`_epub-src/OEBPS/Images/232_1.jpg`) - 结论依据:原文直接对比早期各 broker 大量注册 Watcher 与由控制器集中注册监听器的做法,指出前者会唤醒不必要的监听器、造成 ZooKeeper 过载;同时保留每个 broker 监听 `/controller` 的例外。 - 原始内容:在Kafka的早期版本中,并没有采用Kafka Controller这样一个概念来对分区和副本的状态进行管理,而是依赖于ZooKeeper,每个broker都会在ZooKeeper上为分区和副本注册大量的监听器(Watcher)。当分区或副本状态变化时,会唤醒很多不必要的监听器