知识卡片
基于ZooKeeper的服务发现与负载均衡模式
分布式消息队列这类系统天生要解决两个协调问题:生产者/消费者如何动态获知当前有哪些节点存活(服务发现),以及如何把数据/负载均衡地分摊到这些节点上(负载均衡)。ZooKeeper用同一套”ephemeral节点+watcher”手法同时解决了这两个问题:在使用ZooKeeper做注册表的架构中,每个可提供服务的节点(书中以旧版Kafka Broker为例)启动后,在一个约定路径下创建一个以自己ID命名的ephemeral znode(如/brokers/ids/[id]),把自己的host、端口等位置信息写进去,并向该父路径的子节点列表注册watcher;需要发现这些节点的一方(如Consumer)读取这个父路径下的所有子节点,就得到了当前全部存活节点的实时列表,某个节点的会话过期或被关闭后,其ephemeral znode才被删除;子节点变化的watcher随后通知关注者刷新列表。短暂断线不会立即移除节点,故障发现依赖会话超时。负载均衡则是在这份”会话有效节点列表”的基础上叠加各节点负载信息(比如把每个节点当前的存储量或连接数也写进对应znode的数据域),需要写入数据的一方读取这些信息后自行决定路由到哪个节点。书中Kafka案例的Broker注册、Consumer Group直接注册及offset写入znode属于旧版本路径;同书第4章脚注已说明0.9.0起Consumer不再直接依赖ZooKeeper,Kafka 4.0又移除了ZooKeeper模式。因此不能把该案例当作现行Kafka机制。可迁移启发:”服务发现”和”负载均衡”表面是两个问题,但只要底层有一份”哪些会话仍有效+各自负载多少”的动态视图(ZooKeeper的ephemeral子节点列表天然提供这份视图),两个问题就能用同一套机制解决,不需要分别设计两套独立的协调逻辑。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。