知识卡片
Kafka的Topic-Partition-Offset模型与分区内有序边界
Kafka把每条数据抽象成一个三元组:topic是消息的逻辑分类,Kafka会用key对同一topic下的消息做哈希取模,决定这条消息落在该topic的哪个partition上(分区数在建topic时静态指定)。这个设计的目的是让一个topic的数据可以分布到多个Broker、多个分区并行处理,突破单机存储和处理能力的瓶颈。每个partition内部的消息严格按写入顺序追加、并被赋予一个递增的整数标识”offset”,Broker只负责按offset提供读取,不维护每个Consumer读到了哪里——这一点由Consumer自己维护(呼应[[消息队列的解耦价值与Kafka的push-pull架构选择]]中push-pull架构的设计初衷)。这里有一个容易被忽视但很关键的边界条件:Kafka只保证同一partition内部消息有序,不保证不同partition之间的消息全局有序——因为key的哈希分区策略决定了两条消息即使写入时间相近,如果hash到不同partition,读取时也可能乱序返回。可迁移启发:任何依赖Kafka做”时序相关”处理的场景,必须先确认相关消息是否被路由到了同一个partition(即它们的key是否相同或映射到同一分区),否则”消息有序”的假设会在多分区并发场景下悄悄失效,这是分布式消息系统里最容易被误用的假设之一。
结构图:
flowchart TB
A["Topic A(逻辑分类)"]
A --> P0["Partition 0<br/>(内部严格有序,offset递增)"]
A --> P1["Partition 1<br/>(内部严格有序,offset递增)"]
A --> P2["Partition 2<br/>(内部严格有序,offset递增)"]
K["消息key"] -->|"hash(key) mod 分区数"| P1
N["Partition之间<br/>不保证全局有序"] -.-> P0
N -.-> P1
N -.-> P2
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》之"4.2 Kafka设计架构"(源文件:_epub-src/OEBPS/text00028.html)
- 结论依据:原文说明"key:表示该条消息的主键。Kafka会根据主键将同一个topic下的消息划分成不同的分区(partition),默认是基于哈希取模的算法……Kafka Broker能够保证同一topic下同一partition内部的消息是有序的,但无法保证partition之间的消息全局有序……Broker仅提供基于offset的读取方式,不会维护各个Consumer当前已消费消息的offset值,而是由Consumer各自维护当前读取的进度",直接支撑本卡结构图与有序性边界的结论。
- 原始内容:这意味着一个Consumer读取某个topic下(多个分区中,如图4-6所示)的消息时,可能得到跟写入顺序不一致的消息序列。但在实际应用中,合理利用分区内部有序这一特征即可完成时序相关的需求。