知识卡片
进度监听器解耦监控链路
Structured Streaming 可用查询监听器在开始、结束及每次处理进度变化时取得事件。把进度信息异步写入监控主题,再由独立采集器处理和展示,可以避免每个业务查询都直接承担展示逻辑。这个方案的前提是监控消息能被可靠传递,且采集链路故障不会反过来阻塞核心查询;原书给出的是架构示例,不保证这些运行条件已自动满足。
结构图:
flowchart LR
Q[流查询] --> L[进度监听器]
L --> T[Kafka 监控主题]
T --> C[指标采集器]
C --> S[存储与处理]
S --> V[图形展示]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文说明 `onQueryProgress` 每次处理进度调用,并给出监听器、Kafka 监控主题、Metrics Collector 与图形平台的异步方案;可靠性边界是实施时的必要条件。
- 原始内容:我们可以通过 onQueryProgress()方法来将流查询的指标信息传递出去,以便对此信息进行相应的处理和图形化展示。如图12-13所示,我们可以将指标信息发送到Kafka的某个内部监控主题,通过专门的数据采集模块Metrics Collector来拉取这些指标信息并进行相应的解析、转化、处理和存储,进而呈现在图形化展示平台为用户提供参考依据。