知识卡片

普通读书笔记卡 · 1769.u.1.d.1

存储粒度影响写入与迁移

理解等级:高级

Kafka按分区保存消息段,分区迁移与扩容较灵活;RocketMQ按Broker合并消息追加,活跃主题很多时同时写的文件更少,顺序批写更集中。稀疏与稠密索引还分别偏向省空间与快定位,选择需结合小消息、主题数和迁移需求。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《消息队列高手课》第35章《35-答疑解惑(三):主流消息队列都是如何存储消息的?》(来源项目:book-sources;源文件:extracted/消息队列高手课/_epub-src/text/part0039_split_001.html;spine 217) - 结论依据:原文说明Kafka按分区保存消息段,分区迁移与扩容较灵活;RocketMQ按Broker合并消息追加,活跃主题很多时同时写的文件更少,顺序批写更集中。本卡以本节实际案例及分析版本为边界。 - 原始内容:在消息文件的存储粒度上,Kafka以分区为单位,粒度更细,优点是更加灵活,很容易进行数据迁移和扩容。RocketMQ以Broker为单位,较粗的粒度牺牲了灵活性,带来的好处是,在写入的时候,同时写入的文件更少,有更好的批量(不同主题和分区的数据可以组成一批一起写入),更