返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

结构图卡 · 3104

Samza把流存储交给消息系统

理解等级:中级

Samza 的设计把数据流的持久化与分区交给 Kafka 等消息系统,把资源分配和任务调度交给 YARN 等资源系统,自身侧重处理逻辑及编程接口。这里“任务”是执行同一处理程序的副本,消息系统是任务之间的数据边界。这样可以缩小计算框架本身的职责,但可用性和吞吐仍取决于外部系统及两者之间的积压。

flowchart LR
  A[输入流 Kafka] --> B[Samza 任务]
  B --> C[输出流 Kafka]
  D[YARN 资源与调度] --> B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.3.1《系统架构》(源文件:_epub-src/OEBPS/Text/chapter105.xhtml;图6-3) - 结论依据:正文逐一说明消息系统、资源管理系统和 Samza 自身职责,图6-3展示 YARN、任务和 Kafka 的连接。 - 原始内容:Samza将流数据的管理委托给Kafka等消息中间件,再将资源管理、任务调度和分布式执行等功能借助于诸如YARN这样的分布式资源管理系统完成,其自身的主要逻辑则是专注于对流计算过程的抽象及对用户编程接口的实现。