知识卡片

普通读书笔记卡

LeaderEpoch修正截断

理解等级:未标注

仅按 HW 截断故障后的日志会有两种风险。本书的消息 m1、m2 例子中,follower 已复制 m2,但本地 HW 尚未收到新值;它重启后按旧 HW 截断,会删掉原本已复制的 m2。另一例中,旧 leader 保留 m2,新 leader 在相同位移写入 m3;两个副本的 HW 恰好相同,按 HW 就发现不了内容分叉。Kafka 从 0.11.0.0 引入 Leader Epoch:每次 leader 更换,纪元递增,并记录该纪元首条消息位移,为恢复时判断截断点提供任期信息。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第8章《可靠性探究》8.1.4 节及图 8-10、图 8-14(源文件:`_epub-src/OEBPS/Text/chapter9.xhtml`;图片:`_epub-src/OEBPS/Images/306_2.jpg`、`307_3.jpg`) - 结论依据:原文分别演示按旧 HW 截断导致数据丢失、相同 HW 遮住日志分叉,再给出 Leader Epoch 的引入与定义;图片已核对消息位置。 - 原始内容:为了解决上述两种问题,Kafka从0.11.0.0开始引入了leader epoch的概念