知识卡片
分区提供局部顺序与并行
主题可切成多个分区分布在Broker上,使不同分区并行处理;记录在一个分区内按日志位置排序,不自然形成跨分区全局顺序。按键分区可让相关消息进入相同分区,但要保持相应路由条件。Round Robin是轮流分配而非随机分配,也不能因此承诺同一键始终落同一分区。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式通信 · 查看原书依据
消息的Topic代表其所属类型,即在内部对应某个名字的消息队列,比如要记录网站用户的访 问行为,可以将其分为PV、登录、搜索等不同的Topic。在Kafka内部,支持对Topic进行数据分片(Partition),每个数据分片是有序的、不可更改的尾部追加消息队列(见图6-4),队列内的每个消息被分配本数据分片内唯一的消息ID(被称为“Offset”)。消息生产者在产生消息时可以指定数据分片,具体方式可以采用Round Robin随机分配,也可以根据一定的应用语义逻辑分配,比如可以按照用户Uid进行哈希分配,这样保证同一用户的数据会放入相同队列中,便于后续处理。
参考来源
- 位置:《大数据日知录:架构与算法》6(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html)
- 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。
- 原始内容:消息的Topic代表其所属类型,即在内部对应某个名字的消息队列,比如要记录网站用户的访 问行为,可以将其分为PV、登录、搜索等不同的Topic。在Kafka内部,支持对Topic进行数据分片(Partition),每个数据分片是有序的、不可更改的尾部追加消息队列(见图6-4),队列内的每个消息被分配本数据分片内唯一的消息ID(被称为“Offset”)。消息生产者在产生消息时可以指定数据分片,具体方式可以采用Round Robin随机分配,也可以根据一定的应用语义逻辑分配,比如可以按照用户Uid进行哈希分配,这样保证同一用户的数据会放入相同队列中,便于后续处理。