知识卡片

普通读书笔记卡

失败批次会卡住窗口

理解等级:高级

按连续完成区间提交位移时,窗口起点的批次若一直失败,startOffset 就不能前移,即使后面的批次已经完成。书中建议为停滞设置阈值,先本地重试,再转重试队列或死信队列;也可把无法处理的消息可靠保存到磁盘、数据库或 Kafka 后继续推进,并另设任务分析原因。具体选择必须明确失败消息的持久化和重试责任,不能仅为释放窗口就丢弃未决消息。窗口和批次也要按内存、并发和崩溃后的重读量折中设定。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.10「多线程实现」(`_epub-src/OEBPS/Text/chapter4.xhtml`;滑动窗口图 `105_1.jpg`) - 结论依据:正文指出起始方格未完成会使窗口悬停,给出本地重试、重试队列、死信队列及可靠保存后续分析等处理思路。 - 原始内容:如果一个方格内的消息无法被标记为消费完成,那么就会造成 startOffset 的悬停……本地重试消费,如果重试失败就转入重试队列,如果还不奏效就转入死信队列