← 返回卡片

原书出处

大数据日知录_架构与算法

6 分布式通信

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.099Z

消息的Topic代表其所属类型,即在内部对应某个名字的消息队列,比如要记录网站用户的访 问行为,可以将其分为PV、登录、搜索等不同的Topic。在Kafka内部,支持对Topic进行数据分片(Partition),每个数据分片是有序的、不可更改的尾部追加消息队列(见图6-4),队列内的每个消息被分配本数据分片内唯一的消息ID(被称为“Offset”)。消息生产者在产生消息时可以指定数据分片,具体方式可以采用Round Robin随机分配,也可以根据一定的应用语义逻辑分配,比如可以按照用户Uid进行哈希分配,这样保证同一用户的数据会放入相同队列中,便于后续处理。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d