← 返回卡片

原书出处

大数据日知录_架构与算法

12 流式计算

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.138Z

Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d