知识卡片
流式处理由消息分发驱动
书中以当时的 Storm 说明流式处理的一种组织方式:把持续到来的增量数据作为消息分发给多个处理者并行计算,集群协调与消息通信由配套组件承担。关键设计问题是消息怎样分流、处理者怎样协作,而不只是产品名。发散:评估实现时还需检查处理失败和重放语义,本节没有给出保证。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“Storm”(源文件:`_epub-src/OEBPS/text00017.html`)
- 结论依据:原文说明当时 Storm 依赖 ZooKeeper 协调和 JZMQ 消息系统,并把流式计算概括为增量消息分发及多个接收者并行处理。
- 原始内容:其流式计算方式,主要是指增量数据通过消息分发,多个消息接收者并行接收处理这样的一个机制,我们再回头看Fourinone能否也实现这样的机制。