知识卡片
流水执行与有序提交可并存
要求状态提交顺序一致不表示一批必须走完整个拓扑后才能启动下一批。Trident可以让不同批次在不同节点流水执行,并在提交阶段维护所需次序。应区分并行计算、状态更新顺序与输出可见性;只看全局有序这个条件就推断全部计算串行会低估可用并发。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
如果严格按照上述事务提交顺序全局有序的要求,则进入Storm的数据会串行执行,即第一份批数据在经过所有的节点计算完成并提交成功后,第二份批数据才开始运行。很明显,这样的效率太低,可以将其改造成类似于CPU流水线执行命令的并行方式,即第一份批数据经过上游节点计算后进入下游节点,而第二份批数据进入上游节点,此时上游节点处理第二份批数据,下游节点处理第一份批数据,这样在维持事务提交顺序全局有序的约束下增加了并发性。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落121(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://github.com/apache/storm/blob/master/docs/Trident-state.md](https://github.com/apache/storm/blob/master/docs/Trident-state.md)。
- 原始内容:如果严格按照上述事务提交顺序全局有序的要求,则进入Storm的数据会串行执行,即第一份批数据在经过所有的节点计算完成并提交成功后,第二份批数据才开始运行。很明显,这样的效率太低,可以将其改造成类似于CPU流水线执行命令的并行方式,即第一份批数据经过上游节点计算后进入下游节点,而第二份批数据进入上游节点,此时上游节点处理第二份批数据,下游节点处理第一份批数据,这样在维持事务提交顺序全局有序的约束下增加了并发性。