返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

结构图卡 · 4334

Storm拓扑执行模型

理解等级:中级

Storm把持续运行的实时作业称为Topology。Spout产生数据流,Bolt接收并处理;Nimbus计算Task分配并写入ZooKeeper,Supervisor据此启动Worker。Worker内由Executor执行Task:同一Worker内通过Disruptor队列通信,跨Worker默认走Netty。这个模型把逻辑组件、并发执行单元和进程部署分开,调优前要明确瓶颈位于哪一层。

结构图:

flowchart LR
    C[Client提交Topology] --> N[Nimbus调度]
    N --> Z[ZooKeeper记录分配与心跳]
    Z --> S[Supervisor启动Worker]
    S --> W[Worker进程]
    W --> E[Executor]
    E --> T[Task]
    SP[Spout产生流] --> BO[Bolt处理流]
    T -.执行.-> SP
    T -.执行.-> BO
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章“6.2.4 Storm基础知识简单介绍”(源文件:_epub-src/OEBPS/Text/Chapter6_2_5.xhtml,段落序号:2-20;从0计) - 结论依据:原文依次定义Topology、Spout、Bolt,并说明Nimbus、ZooKeeper、Supervisor、Worker、Executor与Task的调度和通信关系。 - 原始内容:Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入ZooKeeper中。……每个Worker上运行多个Task,Task由Executor来具体执行。