知识卡片

结构图卡

位移查找先段后索引

理解等级:中级

按 Kafka 分区位移找消息,要先确定含该位移的 LogSegment,再查该段的稀疏偏移量索引,最后从索引给出的物理位置顺序扫描 .log。书中 Kafka 2.0.0 的 Log 用 ConcurrentSkipListMap 按各段 baseOffset 保存分段,可快速找出基准位移不大于目标的最近一段。进入该段后,用 目标位移−baseOffset 得到相对位移,二分找索引中不大于它的最大项。

图 5-9 中目标位移 23 对应的最近索引项是 [22, 656],于是从日志文件字节位置 656 顺序读取到位移 23。跨段找 268 时,先选 baseOffset=251 的分段,再以相对位移 268−251=17 查该段索引。稀疏索引项给的是扫描起点,不保证直接指向目标消息。

结构图:

flowchart LR
    T[目标分区位移] --> S[按 baseOffset 找日志分段]
    S --> R[计算相对位移]
    R --> I[二分查不大于目标的最大索引项]
    I --> P[取得 .log 文件字节位置]
    P --> L[顺序扫描至目标消息]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第5章 5.3.1 节(源文件:`_epub-src/OEBPS/Text/chapter6.xhtml`;正文归一化字符位 13557–15012;图 5-9 `195_3.jpg`、图 5-10 `196_1.jpg`) - 结论依据:原文明确给出查位移 23 的 `[22,656]` 位置与顺序扫描、查位移 268 时先选 251 分段并计算相对位移 17,以及分段由 `ConcurrentSkipListMap` 按 baseOffset 组织;两图已回读。 - 原始内容:如果我们要查找偏移量为23的消息……通过二分法在偏移量索引文件中找到不大于23的最大索引项,即[22,656],然后从日志分段文件中的物理位置656开始顺序查找……查找偏移量为268……定位到baseOffset为251的日志分段,然后计算相对偏移量relativeOffset=268-251=17。