返回主题:框架与集成:Storm、Spark 与消息系统怎么接
Storm 用 Topology 描述流计算网络:Spout 是数据源头,从队列、数据库等外部系统获取流数据并周期性生成 Tuple;Tuple 是最小数据单位,沿 Stream 传给 Bolt 处理。Tuple、Stream、Spout、Bolt 组成网状结构,每开启一个流计算任务就生成一个 Topology。发散:流式系统像生产线,节点吞吐和背压决定整体稳定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《分布式架构原理与实践》第5章《分布式计算》(源文件:_epub-src/OEBPS/Text/part0000.xhtml)
- 结论依据:原文说明 Storm 中 Spout 从外部系统获取流数据生成 Tuple,Tuple、Stream、Spout、Bolt 组成网状的流处理网络即 Topology,每开启一个流计算任务就生成一个 Topology。
- 原始内容:Storm 体系将数据的源头抽象为 Spout,Spout 从队列、数据库等外部系统获取流数据,然后通过 Stream 传递给 Tuple。……Topology :上面讲到的数据传输载体(Tuple)、数据传输通道(Stream)、数据源头(Spout)以及数据处理模块(Bolt)组成了一个网状的流数据处理网络。