知识卡片
Storm的Topology-Spout-Bolt编程模型与Stream Grouping
Storm把用户程序抽象成Topology——一个由多个Spout(数据源,从外部系统读数据并发射Tuple)和Bolt(处理逻辑,可以过滤/聚集/转换/写外部系统,处理完还能继续往下游发射新Tuple)构成的DAG,可以类比MapReduce Job理解:MapReduce Job是”Map阶段→Reduce阶段”这种固定两阶段DAG,而Storm Topology是更通用的DAG,允许有任意多个Spout/Bolt阶段串联组合。每个Spout或Bolt在运行时会被拆成多个相互独立、可并行执行的Task,这带来一个新问题:一个Bolt产生的Tuple该往下游哪个具体Task送?这正是Stream Grouping要解决的路由问题,Storm提供了几种典型策略:Shuffle Grouping用轮询方式随机分发,让下游负载相对均衡;LocalOrShuffle Grouping是针对Shuffle Grouping的局部性优化,优先把Tuple送给同一个Worker进程内的Task(避免不必要的跨进程/跨网络传输);Fields Grouping按Tuple某个字段的值路由,保证同一字段值的Tuple总是落到同一个下游Task——这个策略的作用和MapReduce/Spark的Shuffle实现(按key分区保证同key数据聚到一起)是同一个思路。可迁移启发:任何”上游生产者→下游多个并行消费者”的架构,一旦下游变成多实例并行,就必须显式回答”这条数据该路由给哪个下游实例”这个问题——Storm把这个问题独立抽象成可插拔的Stream Grouping策略,负载均衡(Shuffle)、局部性优化(LocalOrShuffle)、按键聚合(Fields)分别对应三种不同的路由目标,这三种目标在设计任何多实例路由系统时都值得对号入座地考虑一遍。
结构图:
flowchart TB
A["Storm Topology(DAG)"]
A --> SP["Spout(数据源)"]
A --> B["Bolt(处理逻辑,可串联多级)"]
SP -->|"Stream Grouping路由策略"| B
B -->|"Stream Grouping"| B2["下一级Bolt"]
G["Stream Grouping策略"] --> G1["Shuffle Grouping:轮询,负载均衡"]
G --> G2["LocalOrShuffle Grouping:优先本Worker内传递,减少跨进程开销"]
G --> G3["Fields Grouping:按字段值路由,同值落同Task(类似MapReduce/Spark分区)"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。