知识卡片
Storm拓扑永驻运行
Storm是开源的分布式实时计算系统,可简单可靠地处理大量流式数据。它与MapReduce思想相近,却有一个根本差异:MapReduce执行批处理任务,任务结束即终止;Storm的Topology执行实时处理任务,会永远运行直到手动kill掉,任务异常时自动重新分配失败任务并保证数据不丢。因此批处理是提交任务、等结果、收工,流处理是定义好计算图谱后长期驻留。用户只需定义topology、spout、bolt,任务调度、数据流切割、容错都交给集群。Storm以水平扩展、高容错、保障每条消息被处理为设计目标,广泛用于实时分析、在线机器学习、持续计算与ETL。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据分析 5.3 流式数据分析 · 查看原书依据
它有点类似于Hadoop的MapReduce思想,不同的是,MapReduce执行的是批处理任务,而Storm所提出的Topology原语,执行的是实时处理任务。批处理任务最终会结束,而Topology任务却会永远地运行,直到用户手动kill掉。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.3 流式数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_003.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `524d45f53e3708c2e9ae9081179ef43d2307d57e2db36e300581752c268fae8c`)
- 结论依据:原文『批处理任务最终会结束,而Topology任务却会永远地运行,直到用户手动kill掉』直接对比二者,同段『可以方便地进行系统扩容,具有很高的容错性,能够保障每个消息都会得到处理』补充设计目标。
- 原始内容:它有点类似于Hadoop的MapReduce思想,不同的是,MapReduce执行的是批处理任务,而Storm所提出的Topology原语,执行的是实时处理任务。批处理任务最终会结束,而Topology任务却会永远地运行,直到用户手动kill掉。