知识卡片

普通读书笔记卡

跨集群镜像不保留消费位移

理解等级:高级

Mirror Maker 通过消费再生产跨集群复制消息,源集群的分区号和 offset 不是目标集群的恒定坐标。两端主题分区数可不同;即使分区号相同,目标日志起点和历史消息也可能不同。书中图 9-3:源分区从 offset 10 开始的 msg1,镜像到目标分区后位于 offset 0。因而迁移消费者时不能直接照搬源端已提交位移,否则可能跳过或重复消息。需先验证目标数据覆盖和分区映射,再重新定位消费起点;另一种书中顺序是先切生产者到目标,等消费者读完源端后再切消费链路。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第9章《Kafka应用》9.3 节及图 9-3(源文件:`_epub-src/OEBPS/Text/chapter10.xhtml`;图片:`_epub-src/OEBPS/Images/338_1.jpg`) - 结论依据:原文说明两端分区号及 offset 可能不同,并给出迁移前需重置位移或分阶段切换的建议;图示核对 `msg1` 的源 10、目标 0。最后的核对步骤是据机制归纳,并非执行记录。 - 原始内容:就算分区数相同,消息所规划到的分区号也相同,那么消息所对应的 offset 也有可能不相同。