返回主题:框架与集成:Storm、Spark 与消息系统怎么接
本书 Spark 2.3.1 的 Structured Streaming Kafka 源不会按普通 Kafka 消费者方式提交位移,也不允许直接设置 group.id。因此,依赖 Kafka 消费组提交位移估算此查询进度会失真;应读取 Spark 流查询自身的 status、lastProgress 或近期进度,并按其输入、处理指标建立监控。这里讨论的是该版本集成方式,不推断所有 Spark/Kafka 组合的当前行为。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文列出 `group.id` 与 `enable.auto.commit` 的限制,随后说明传统消费组监控不可用,并给出 StreamingQuery 的状态与进度接口。
- 原始内容:由如上信息可以看出这里既不提交消费位移,也不能设置group.id,如此若要通过传统的方式来获取流查询的监控数据是行不通了。不过Structured Streaming自身提供了几种监控的手段,可以直接通过StreamingQuery的status()和lastProgress()方法来获取当前流查询的状态和指标。