← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.137Z

Dryad的整体架构如图11-12所示。系统中的“任务管理器”(Job Manager,JM)负责将逻辑形式存在的DAG描述映射到物理集群机器中,起到任务调度器以及全局管理者的作用。命名服务器(Name Server,NS)负责维护集群中当前可用的机器资源,从命名服务器还可以查到机器在物理拓扑结构中的位置,这样便于JM在任务调度时考虑到数据局部性,尽可能地将计算推送到数据节点上,以此来减少网络通信开销,加快任务执行速度。集群中每台工作机上安装Daemon守护进程(图中标为D的即是),其作为JM在计算节点上的代理,负责具体子任务的执行和监控。当DAG中某个图节点首次被分配到工作机上时,JM将二进制代码传输给Daemon进程由其来负责执行,Daemon进程在执行过程中和JM通信,来汇报执行进度以及数据处理完成情况。DAG图节点之间的有向边代表数据流动的方向,分配到DAG图节点的工作机之间,直接进行通信来传输数据,并不需要JM介入,所以JM不会成为整个系统的瓶颈。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d