返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡

流查询进度看Spark自身

理解等级:中级

本书 Spark 2.3.1 的 Structured Streaming Kafka 源不会按普通 Kafka 消费者方式提交位移,也不允许直接设置 group.id。因此,依赖 Kafka 消费组提交位移估算此查询进度会失真;应读取 Spark 流查询自身的 status、lastProgress 或近期进度,并按其输入、处理指标建立监控。这里讨论的是该版本集成方式,不推断所有 Spark/Kafka 组合的当前行为。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文列出 `group.id` 与 `enable.auto.commit` 的限制,随后说明传统消费组监控不可用,并给出 StreamingQuery 的状态与进度接口。 - 原始内容:由如上信息可以看出这里既不提交消费位移,也不能设置group.id,如此若要通过传统的方式来获取流查询的监控数据是行不通了。不过Structured Streaming自身提供了几种监控的手段,可以直接通过StreamingQuery的status()和lastProgress()方法来获取当前流查询的状态和指标。