知识卡片

普通读书笔记卡

分区分散单机负载

理解等级:中级

一个主题只有一份日志时,其所在机器的 I/O 会限制吞吐。Kafka 把主题拆成可分布于不同 broker 的分区,让消息按分区规则写入多份日志,从而分散负载并支持水平扩展。增加分区数提供扩展空间,但效果还取决于消息能否合理分布;分区也会把顺序保证限定在单个分区,见[[分区限定消息顺序]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第1章《初识Kafka》1.1 节(源文件:_epub-src/OEBPS/Text/chapter2.xhtml) - 结论依据:原文用单文件所在机器的 I/O 瓶颈解释分区的作用,并指出分区可跨 broker、增加分区数可水平扩展,同时要求合理的分区规则使消息均匀分配。 - 原始内容:Kafka中的分区可以分布在不同的服务器(broker)上……如果分区规则设定得合理,所有的消息都可以均匀地分配到不同的分区中。如果一个主题只对应一个文件,那么这个文件所在的机器 I/O 将会成为这个主题的性能瓶颈,而分区解决了这个问题……通过增加分区的数量可以实现水平扩展。