知识卡片
拓扑描述逻辑任务路由
流是持续产生的具名值元组序列;Spout提供输入,Bolt消费输入并生成输出或更新状态,二者组成逻辑拓扑。每个组件可运行多个任务实例,分布到不同工作节点。边上的流分组决定一个输出元组送往哪些下游任务,因而逻辑连线、任务并行度与物理部署是三个不同层次。
结构图:
flowchart LR
A[Spout输入] -->|随机分组| B[Bolt分词]
B -->|按word字段分组| C[Bolt词计数]
C --> D[输出计数]
E[组件可有多个任务] -.说明.-> B
E -.说明.-> C
与[[管道图思维]]的联系:流拓扑把组件、并行任务、路由和物理部署分开描述。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第14章《队列和流处理》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/104.xhtml)
- 结论依据:图14-8至14-15分开呈现流、组件、任务与物理机器,并用word字段分组保证词计数汇聚。
- 原始内容:Storm模型将整个流处理管道表示为计算的图被称为 拓扑 。