知识卡片
混洗前保存消费位移范围
Direct 接入时,Kafka 分区与初始 Spark RDD 分区的对应关系,可用于定位当前批次的消费位移范围。reduceByKey 一类混洗会重新分配数据,之后已不能依靠输出 RDD 的分区反推出原 Kafka 分区。若要记录监控或检查点所需的位移,应在创建 DStream 后、执行混洗前取出原始范围,并区分范围上界是不包含的下一位移。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.5 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文要求位移获取代码紧接 `createDirectStream`,并解释混洗后分区对应关系会丢失;批处理的 `OffsetRange` 示例说明上界不包含。
- 原始内容:注意需要将这段代码放在第④行之后,也就是需要在使用KafkaUtils.createDirectStream()方法创建DStream之后第一个调用,虽然Kafka的分区与Spark RDD一一对应,但是在混洗类型的方法(比如reduceByKey())执行之后这种对应关系就会丢失。