知识卡片

普通读书笔记卡

按分区提交下一位移

理解等级:中级

无参 commitSync() 提交当前批次的 position;需要控制某个分区处理到哪里时,使用带 Map<TopicPartition, OffsetAndMetadata> 参数的重载。按分区处理一批记录后,可取该分区最后一条已处理记录的 offset + 1 提交。这个值是下次恢复应读取的位置,不能直接提交最后一条记录的 offset。逐条同步提交虽然更细,却会反复阻塞消费者,通常应按分区或业务批次确定提交边界。示例默认该分区的记录已全部处理成功;若仅部分处理成功,不能用批次最后一条记录计算提交值。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第3章《消费者》3.2.5「位移提交」(`_epub-src/OEBPS/Text/chapter4.xhtml`;代码清单 3-3、3-4,图 `81_1.jpg`、`81_2.jpg`) - 结论依据:正文对含参 `commitSync()`、逐条提交性能和按分区提交的说明;代码清单 3-4 在分区处理循环后取最后一条记录的 offset,再提交 `lastConsumedOffset + 1`。 - 原始内容:该方法提供了一个 offsets 参数,用来提交指定分区的位移……在实际应用中,很少会有这种每消费一条消息就提交一次消费位移的必要场景……更多时候是按照分区的粒度划分提交位移的界限