知识卡片

结构图卡 · 3102.b.1

Storm的Topology-Spout-Bolt编程模型与Stream Grouping

理解等级:未标注

Storm把用户程序抽象成Topology——一个由多个Spout(数据源,从外部系统读数据并发射Tuple)和Bolt(处理逻辑,可以过滤/聚集/转换/写外部系统,处理完还能继续往下游发射新Tuple)构成的DAG,可以类比MapReduce Job理解:MapReduce Job是”Map阶段→Reduce阶段”这种固定两阶段DAG,而Storm Topology是更通用的DAG,允许有任意多个Spout/Bolt阶段串联组合。每个Spout或Bolt在运行时会被拆成多个相互独立、可并行执行的Task,这带来一个新问题:一个Bolt产生的Tuple该往下游哪个具体Task送?这正是Stream Grouping要解决的路由问题,Storm提供了几种典型策略:Shuffle Grouping用轮询方式随机分发,让下游负载相对均衡;LocalOrShuffle Grouping是针对Shuffle Grouping的局部性优化,优先把Tuple送给同一个Worker进程内的Task(避免不必要的跨进程/跨网络传输);Fields Grouping按Tuple某个字段的值路由,保证同一字段值的Tuple总是落到同一个下游Task——这个策略的作用和MapReduce/Spark的Shuffle实现(按key分区保证同key数据聚到一起)是同一个思路。可迁移启发:任何”上游生产者→下游多个并行消费者”的架构,一旦下游变成多实例并行,就必须显式回答”这条数据该路由给哪个下游实例”这个问题——Storm把这个问题独立抽象成可插拔的Stream Grouping策略,负载均衡(Shuffle)、局部性优化(LocalOrShuffle)、按键聚合(Fields)分别对应三种不同的路由目标,这三种目标在设计任何多实例路由系统时都值得对号入座地考虑一遍。

结构图:

flowchart TB
  A["Storm Topology(DAG)"]
  A --> SP["Spout(数据源)"]
  A --> B["Bolt(处理逻辑,可串联多级)"]
  SP -->|"Stream Grouping路由策略"| B
  B -->|"Stream Grouping"| B2["下一级Bolt"]
  G["Stream Grouping策略"] --> G1["Shuffle Grouping:轮询,负载均衡"]
  G --> G2["LocalOrShuffle Grouping:优先本Worker内传递,减少跨进程开销"]
  G --> G3["Fields Grouping:按字段值路由,同值落同Task(类似MapReduce/Spark分区)"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.2.1 Storm概念与架构"(源文件:_epub-src/OEBPS/text00104.html) - 结论依据:原文说明"Topology……是由一系列Spout和Blot构成的DAG……相比之下,Storm Topology是一个更加通用的DAG,可以有多个Spout和Blot阶段,每个阶段可进一步分解成多个Task……Stream Grouping决定了Topology中Tuple在不同Task之间是的传递方式……Shuffle Grouping:随机化的轮训方式……LocalOrShuffle Grouping:经优化的Shuffle Grouping实现,它使得同一Worker内部的Task优先将Tuple传递给同Worker的其他Task……Fields Grouping:某个字段值相同的Tuple将被发送给同一个Task,类似于MapReduce或Spark中的Shuffle实现", 直接支撑本卡关于编程模型与Stream Grouping的结构图。 - 原始内容:同一个Spout或Blot中的Task之间相互独立,它们可以并行执行。