知识卡片
Storm拓扑执行模型
Storm把持续运行的实时作业称为Topology。Spout产生数据流,Bolt接收并处理;Nimbus计算Task分配并写入ZooKeeper,Supervisor据此启动Worker。Worker内由Executor执行Task:同一Worker内通过Disruptor队列通信,跨Worker默认走Netty。这个模型把逻辑组件、并发执行单元和进程部署分开,调优前要明确瓶颈位于哪一层。
结构图:
flowchart LR
C[Client提交Topology] --> N[Nimbus调度]
N --> Z[ZooKeeper记录分配与心跳]
Z --> S[Supervisor启动Worker]
S --> W[Worker进程]
W --> E[Executor]
E --> T[Task]
SP[Spout产生流] --> BO[Bolt处理流]
T -.执行.-> SP
T -.执行.-> BO
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构(第1卷)》第6章“6.2.4 Storm基础知识简单介绍”(源文件:_epub-src/OEBPS/Text/Chapter6_2_5.xhtml,段落序号:2-20;从0计)
- 结论依据:原文依次定义Topology、Spout、Bolt,并说明Nimbus、ZooKeeper、Supervisor、Worker、Executor与Task的调度和通信关系。
- 原始内容:Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入ZooKeeper中。……每个Worker上运行多个Task,Task由Executor来具体执行。