知识卡片
缩减分区需迁移消息
书中 Kafka 2.0.0 允许给主题增加分区,却不允许直接减少。缩减会迫使系统决定被删除分区的消息去处:直接丢弃损害可靠性;拼到其他分区尾部可能打乱时间戳顺序;插入现有日志又需要大量复制,还牵涉顺序、事务和副本状态切换。若确实需要更少分区,可新建目标主题,按明确的路由规则迁移消息,并核对下游消费行为。扩分区也会改变按 key 计算的路由,参见[[key决定分区稳定性]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第4章《主题与分区》4.1.4「修改主题」(`_epub-src/OEBPS/Text/chapter5.xhtml`;扩分区与拒绝缩减图 `127_1.jpg`、`127_2.jpg`)
- 结论依据:正文和命令截图确认该版本仅支持增加分区;正文逐一分析删消息、保留并转移消息在可靠性、时间戳、复制资源、顺序与状态方面的代价,并建议新建较小主题后迁移。
- 原始内容:目前Kafka只支持增加分区数而不支持减少分区数……如果随着分区一起消失则消息的可靠性得不到保障;如果需要保留则又需要考虑如何保留……如果真的需要实现此类功能,则完全可以重新创建一个分区数较小的主题,然后将现有主题中的消息按照既定的逻辑复制过去即可。