知识卡片
Kafka顺序写与无状态
Kafka 高吞吐靠两个设计:消息以追加方式顺序写入分区日志,顺序写磁盘的效率甚至高于随机写内存;消费位置 offset 由消费者自己维护,可调小重新消费。于是 Broker 无需记录谁消费了哪条消息,也无需用锁保证组内只有一个消费者消费某条消息,成为无状态的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第5章《大数据技术介绍》"5.2.3 中间件"之"Kafka"(源文件:_epub-src/OEBPS/text00074.html)
- 结论依据:原文说明"因为每条消息都被append到该Partition中,属于顺序写磁盘,因此效率非常高(经验证,顺序写磁盘效率比随机写内存还要高,这是Kafka高吞吐率的一个很重要的保证)""因为offset由Consumer控制,所以Kafka Broker是无状态的,它不需要标记哪些消息被消费过……因此也就不需要锁机制,这也为Kafka的高吞吐率提供了有力保障",直接支撑本卡结论。
- 原始内容:因为每条消息都被append到该Partition中,属于顺序写磁盘,因此效率非常高(经验证,顺序写磁盘效率比随机写内存还要高……)……因为offset由Consumer控制,所以Kafka Broker是无状态的……因此也就不需要锁机制,这也为Kafka的高吞吐率提供了有力保障