知识卡片
MessageID定址索引
CAT案例要在分段压缩数据上按Message-ID随机读取。Data文件把消息分段做GZIP压缩,每个解压块小于64KB;Index文件为每条消息保存48bit索引,其中前32bit记录压缩块在Data文件中的偏移,后16bit记录消息在解压块内的偏移。小于64KB使块内位置可以由16bit表达,而不是让16bit表示“分段在文件内的地址”。
Message-ID前三段定位索引文件,第四段的小时内递增号计算该条48bit索引的位置,再据索引读取压缩块、解压并取出消息。这避免了按键遍历,但“直接寻址”仍有文件读、解压和边界校验成本;固定32/16位宽也限制文件大小与块内范围,迁移到其他规模时需重新核算容量。
结构图:
flowchart TB
A["Message-ID: ShopWeb-0a010680-375030-2"] --> B["前3段(应用名+IP+小时)\n定位唯一Index文件"]
A --> C["第4段(顺序递增号=2)\n计算索引位置=2×48bit"]
B --> D["Index文件"]
C --> D
D --> E["读取该位置的48bit索引"]
E --> F["前32bit: Data文件压缩分段偏移"]
E --> G["后16bit: 分段解压后块内偏移"]
F --> H["Data文件\n(分段GZIP压缩,每段<64KB)"]
H --> I["定位到压缩分段并解压"]
G --> I
I --> J["按块内偏移读出\n真正的消息内容"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构(第1卷)》第5章《运维保障》"5.2 深度剖析开源分布式监控CAT"节,"5.2.4 服务端设计"(源文件:_epub-src/OEBPS/Text/Chapter5_2_5.xhtml)
- 结论依据:原文详细说明"Data文件是分段GZIP压缩,每个分段小于64KB……一个Message-ID需要48bits的空间来存储索引,索引会根据Message-ID的第4段来确定索引的位置……48bits前面32bits存数据文件的块偏移地址,后面16bits存数据文件解压之后的块内地址偏移",以及完整的读取流程,直接支撑本卡片结论与结构图。
- 原始内容:Data文件是分段GZIP压缩,每个分段小于64KB,这样16bits就可以表示一个最大分段地址。一个Message-ID需要48bits的空间来存储索引,索引会根据Message-ID的第4段来确定索引的位置……48bits前面32bits存数据文件的块偏移地址,后面16bits存数据文件解压之后的块内地址偏移。