知识卡片

普通读书笔记卡 · 2775.c.1.b.2

基于ZooKeeper的服务发现与负载均衡模式

理解等级:未标注

分布式消息队列这类系统天生要解决两个协调问题:生产者/消费者如何动态获知当前有哪些节点存活(服务发现),以及如何把数据/负载均衡地分摊到这些节点上(负载均衡)。ZooKeeper用同一套”ephemeral节点+watcher”手法同时解决了这两个问题:在使用ZooKeeper做注册表的架构中,每个可提供服务的节点(书中以旧版Kafka Broker为例)启动后,在一个约定路径下创建一个以自己ID命名的ephemeral znode(如/brokers/ids/[id]),把自己的host、端口等位置信息写进去,并向该父路径的子节点列表注册watcher;需要发现这些节点的一方(如Consumer)读取这个父路径下的所有子节点,就得到了当前全部存活节点的实时列表,某个节点的会话过期或被关闭后,其ephemeral znode才被删除;子节点变化的watcher随后通知关注者刷新列表。短暂断线不会立即移除节点,故障发现依赖会话超时。负载均衡则是在这份”会话有效节点列表”的基础上叠加各节点负载信息(比如把每个节点当前的存储量或连接数也写进对应znode的数据域),需要写入数据的一方读取这些信息后自行决定路由到哪个节点。书中Kafka案例的Broker注册、Consumer Group直接注册及offset写入znode属于旧版本路径;同书第4章脚注已说明0.9.0起Consumer不再直接依赖ZooKeeper,Kafka 4.0又移除了ZooKeeper模式。因此不能把该案例当作现行Kafka机制。可迁移启发:”服务发现”和”负载均衡”表面是两个问题,但只要底层有一份”哪些会话仍有效+各自负载多少”的动态视图(ZooKeeper的ephemeral子节点列表天然提供这份视图),两个问题就能用同一套机制解决,不需要分别设计两套独立的协调逻辑。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第8章《分布式协调服务ZooKeeper》之"8.1 分布式协调服务的存在意义"与"8.5.3 负载均衡"(源文件:_epub-src/OEBPS/text00059.html、text00063.html) - 结论依据:原文说明"消息队列是分布式的,通常由一组节点构成……如何让生产者和消费者动态获知最新的消息队列节点位置是必须要解决的问题……为了解决以上两个问题,需要引入一个可靠的分布式协调服务……Broker节点注册信息:记录在ephemeral类型的znode路径/brokers/ids/[0...N]……保存了该Broker所在host以及对外开放的端口号……Consumer注册信息:记录在ephemeral类型的znode路径/consumers/[group_id]/ids/[consumer_id]……Consumer Offset追踪信息:记录在persistent类型的znode路径……", 支撑ZooKeeper服务发现模式及书中旧版Kafka案例;Consumer/offset直接使用ZooKeeper不作当前Kafka结论。 - 外部校验:Apache ZooKeeper Programmer’s Guide 说明客户端可在会话超时内重连,临时节点在会话过期时由集群删除(https://zookeeper.apache.org/doc/r3.4.12/zookeeperProgrammers.pdf)。原书把断线与会话过期合并表述,此处按会话边界修正。 - 原始内容:在Kafka中,各个Broker和Consumer均会向ZooKeeper注册,保存自己的相关信息,组件之间可动态获取对方的信息。 - 版本边界:原书 `text00028.html` 脚注写明“从Kafka 0.9.0 开始,Consumer 不再直接依赖于ZooKeeper”;[Apache Kafka 4.0 官方公告](https://kafka.apache.org/blog/2025/03/18/apache-kafka-4.0.0-release-announcement/)确认该版本不再运行ZooKeeper模式。