知识卡片
Storm拓扑流计算
Storm 用拓扑描述实时计算:spout 负责把数据流以元组形式发出,bolt 负责计算、过滤等转换,两者组成有向无环图。拓扑提交给集群后,由主节点把任务分发给工作节点执行。与 MapReduce 作业处理完就结束不同,拓扑会一直运行、持续处理消息,直到被手动停止。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式实时计算框架原理及实践案例》第1章《分布式实时计算框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3_0002.xhtml)
- 结论依据:原文说明Storm先设计实时计算的图状结构即拓扑,提交给集群由主节点分发任务给工作节点;拓扑由spout(发送数据流)和bolt(转换、计算、过滤)组成DAG;与MapReduce job最终会结束不同,topology会持续处理消息直到被杀掉。
- 原始内容:在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。……其中一个最大的不同就是,MapReduce job最终会结束,而topology则会持续处理消息(直到你杀掉它)。