返回主题:状态与容错:状态存哪、错了怎么恢复

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 5423

Samza分开消息与资源管理

理解等级:中级

书中Samza把Kafka用作持久流存储,YARN提供容器和资源管理,Application Master组织任务执行。消息系统保留可重放输入,资源系统重启计算,两者共同组成恢复基础;恢复后是否重复修改状态,还要看消费位置与状态提交协议,不能由Kafka存在直接推出恰好一次。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落34(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Samza的任务执行流程如图12-4所示。通过YARN客户端向资源管理器(RM)提交任务,RM从节点管理器(NM)分配计算容器给Samza的应用管理器(AM),计算容器包含了计算所需要的内存、CPU等各种资源,一旦分配成功,YARN在容器内启动Samza AM,Samza AM起到类似于Hadoop 1.0中JobTracker的功能,负责具体计算任务的管理协调等功能,Samza AM向RM申请一个或者多个容器启动Samza任务运行器(Task Runner),任务运行器执行用户编码的应用逻辑,其对应的输入流和输出流都通过Kafka Broker来进行管理。这样,一个具体的Samza流式计算任务就可以启动起来并连续执行。