知识卡片

普通读书笔记卡 · 2800.b

Storm拓扑流计算

理解等级:未标注

Storm 用拓扑描述实时计算:spout 负责把数据流以元组形式发出,bolt 负责计算、过滤等转换,两者组成有向无环图。拓扑提交给集群后,由主节点把任务分发给工作节点执行。与 MapReduce 作业处理完就结束不同,拓扑会一直运行、持续处理消息,直到被手动停止。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第1章《分布式实时计算框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3_0002.xhtml) - 结论依据:原文说明Storm先设计实时计算的图状结构即拓扑,提交给集群由主节点分发任务给工作节点;拓扑由spout(发送数据流)和bolt(转换、计算、过滤)组成DAG;与MapReduce job最终会结束不同,topology会持续处理消息直到被杀掉。 - 原始内容:在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。……其中一个最大的不同就是,MapReduce job最终会结束,而topology则会持续处理消息(直到你杀掉它)。