知识卡片
逻辑物理分离
RocketMQ 把消息存储拆成两层:CommitLog 以物理文件存放全部消息,被本机所有 ConsumeQueue 共享,尽量顺序写以提高写入效率;ConsumeQueue 是只存偏移量的中间结构,尺寸有限,大多能全部读入内存,读取很快。CommitLog 还保存恢复所需信息,ConsumeQueue 丢失也能重建。发散:高吞吐存储常把写入路径和查询路径拆开。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式系统架构:技术栈详解与快速进阶 2020》第7章《分布式架构高并发》(源文件:_epub-src/OEBPS/Text/Chapter9_Split_0001.xhtml)
- 结论依据:原文说明 RocketMQ 的 CommitLog 以物理文件存放并被所有 ConsumeQueue 共享,尽量顺序写;ConsumeQueue 只存偏移量、尺寸有限、大多可读入内存,丢失也能从 CommitLog 恢复。
- 原始内容:CommitLog以物理文件的方式存放,每台Broker上的CommitLog被本机器所有ConsumeQueue共享,在CommitLog中,一个消息的存储长度是不固定的,RocketMQ采取一些机制,尽量在CommitLog中顺序写,但是随机读。……3)为了保证完全的顺序写,需要ConsumeQueue这个中间结构,因为ConsumeQueue里只存偏移量信息,所以尺寸是有限的。