知识卡片

普通读书笔记卡

分区过多放大故障切换

理解等级:中级

分区数增加的不只是正常负载,也增加故障时需要同时处理的角色切换。若某 broker 承载大量分区的 leader,它故障后,这些分区都要从可用 follower 中选出新 leader;单个分区切换或许很短,大量切换叠加仍会拉长不可用窗口。更多分区还会增加启动、关闭、日志清理和删主题的工作量。分区规划因此应把故障恢复与维护时间和吞吐目标一起衡量;副本数与副本放置决定故障后是否有可接任的副本,不能把“多分区”本身当成可用性保证。参见[[副本分布决定容灾]]、[[分区会耗尽文件描述符]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第4章《主题与分区》4.4.4「考量因素」(`_epub-src/OEBPS/Text/chapter5.xhtml`) - 结论依据:正文说明 broker 故障会让其 leader 分区暂不可用,控制器需为大量分区选举新 leader,切换窗口有可观耗时;还逐项指出启动、关闭、日志清理和删除的额外成本。副本放置与接任条件由本章前文的副本机制支撑。 - 原始内容:如果集群中的某个broker节点宕机,那么就会有大量的分区需要同时进行leader角色切换,这个切换的过程会耗费一笔可观的时间,并且在这个时间窗口内这些分区也会变得不可用。分区数越多也会让Kafka的正常启动和关闭的耗时变得越长……