知识卡片

普通读书笔记卡

流与批查询用不同入口

理解等级:中级

Structured Streaming 接 Kafka 时,持续消费的流查询使用 readStream;有明确起止位移的批查询使用 read,并以 startingOffsets、endingOffsets 界定读取范围。两者虽都得到 DataFrame/Dataset,但查询生命周期不同:批查询要界定一个有限输入,流查询要持续跟踪新数据。不能把批查询的结束位移选项直接当成流处理进度管理方案。接口和选项含义需按所用 Spark 版本复核。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文明确区分 `read` 与 `readStream`,并用起止位移描述批处理查询;流查询的持续性来自本章前述模型。 - 原始内容:如果进行的是一个批处理查询而不是流查询(Stream Queries),那么可以使用startingOffsets 和 endingOffsets 这两个选项指定一个合适的偏移量范围来创建一个DataFrame/Dataset,示例如下: 加粗部分的是.read而不是前面示例中的.readStream,注意其中的区别。