知识卡片
Dryad控制面不搬运数据
Dryad Job Manager规划和调度图,Name Server提供可用机器信息,机器上的Daemon启动计算节点。节点之间用共享内存、TCP或临时文件等通道传输数据,实际结果不都经过JM。分离降低数据中转压力,但中央调度仍有控制面容量和故障边界。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
Dryad的整体架构如图11-12所示。系统中的“任务管理器”(Job Manager,JM)负责将逻辑形式存在的DAG描述映射到物理集群机器中,起到任务调度器以及全局管理者的作用。命名服务器(Name Server,NS)负责维护集群中当前可用的机器资源,从命名服务器还可以查到机器在物理拓扑结构中的位置,这样便于JM在任务调度时考虑到数据局部性,尽可能地将计算推送到数据节点上,以此来减少网络通信开销,加快任务执行速度。集群中每台工作机上安装Daemon守护进程(图中标为D的即是),其作为JM在计算节点上的代理,负责具体子任务的执行和监控。当DAG中某个图节点首次被分配到工作机上时,JM将二进制代码传输给Daemon进程由其来负责执行,Daemon进程在执行过程中和JM通信,来汇报执行进度以及数据处理完成情况。DAG图节点之间的有向边代表数据流动的方向,分配到DAG图节点的工作机之间,直接进行通信来传输数据,并不需要JM介入,所以JM不会成为整个系统的瓶颈。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落111(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:Dryad的整体架构如图11-12所示。系统中的“任务管理器”(Job Manager,JM)负责将逻辑形式存在的DAG描述映射到物理集群机器中,起到任务调度器以及全局管理者的作用。命名服务器(Name Server,NS)负责维护集群中当前可用的机器资源,从命名服务器还可以查到机器在物理拓扑结构中的位置,这样便于JM在任务调度时考虑到数据局部性,尽可能地将计算推送到数据节点上,以此来减少网络通信开销,加快任务执行速度。集群中每台工作机上安装Daemon守护进程(图中标为D的即是),其作为JM在计算节点上的代理,负责具体子任务的执行和监控。当DAG中某个图节点首次被分配到工作机上时,JM将二进制代码传输给Daemon进程由其来负责执行,Daemon进程在执行过程中和JM通信,来汇报执行进度以及数据处理完成情况。DAG图节点之间的有向边代表数据流动的方向,分配到DAG图节点的工作机之间,直接进行通信来传输数据,并不需要JM介入,所以JM不会成为整个系统的瓶颈。