返回主题:框架与集成:Storm、Spark 与消息系统怎么接
此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
流式系统用 DAG 拓扑描述计算节点和数据流关系。节点负责局部转换,边负责分组和传递;一次分组策略变化就可能改变并行度、状态分布和网络成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处 · 1 处
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》"12.2 DAG拓扑结构"一节(源文件:_epub-src/OEBPS/text00017.html)
- 结论依据:原文明确"一般的流式计算任务都是由计算节点和流式数据构成的DAG有向无环图。DAG中的节点一般是完成一个计算任务所需要的各种处理功能……而流经各个计算节点的实时数据流构成了DAG中的各种有向边",并区分数据输入节点(Spout/Injector)和任务计算节点(Bolt)两类。
- 原始内容:从流式计算的计算任务拓扑结构角度来看,一般的流式计算任务都是由计算节点和流式数据构成的DAG有向无环图。DAG中的节点一般是完成一个计算任务所需要的各种处理功能,比如过滤、数值累加、Join等具体计算功能,而流经各个计算节点的实时数据流构成了DAG中的各种有向边。