返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

结构图卡

进度监听器解耦监控链路

理解等级:中级

Structured Streaming 可用查询监听器在开始、结束及每次处理进度变化时取得事件。把进度信息异步写入监控主题,再由独立采集器处理和展示,可以避免每个业务查询都直接承担展示逻辑。这个方案的前提是监控消息能被可靠传递,且采集链路故障不会反过来阻塞核心查询;原书给出的是架构示例,不保证这些运行条件已自动满足。

结构图:

flowchart LR
    Q[流查询] --> L[进度监听器]
    L --> T[Kafka 监控主题]
    T --> C[指标采集器]
    C --> S[存储与处理]
    S --> V[图形展示]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文说明 `onQueryProgress` 每次处理进度调用,并给出监听器、Kafka 监控主题、Metrics Collector 与图形平台的异步方案;可靠性边界是实施时的必要条件。 - 原始内容:我们可以通过 onQueryProgress()方法来将流查询的指标信息传递出去,以便对此信息进行相应的处理和图形化展示。如图12-13所示,我们可以将指标信息发送到Kafka的某个内部监控主题,通过专门的数据采集模块Metrics Collector来拉取这些指标信息并进行相应的解析、转化、处理和存储,进而呈现在图形化展示平台为用户提供参考依据。