知识卡片
Samza分开消息与资源管理
书中Samza把Kafka用作持久流存储,YARN提供容器和资源管理,Application Master组织任务执行。消息系统保留可重放输入,资源系统重启计算,两者共同组成恢复基础;恢复后是否重复修改状态,还要看消费位置与状态提交协议,不能由Kafka存在直接推出恰好一次。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落34(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。