原书出处
大数据日知录_架构与算法
12 流式计算
Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d