知识卡片
数据本地性的三级调度与延迟调度策略
为了减少任务执行时的网络传输开销,MRAppMaster在给Map Task分配计算资源时会优先”就近”调度——让任务尽量运行在它要处理的数据所在的节点上,这就是数据本地性。基于Hadoop集群的网络拓扑结构(节点在同一机架内通信快、跨机架通信慢),MapReduce把任务按输入数据与实际分配到的计算资源之间的距离分成三档:node-local(数据和计算资源在同一节点,最优)、rack-local(数据和计算资源在同一机架但不同节点,次优)、off-switch(跨机架,需要经过更多层交换机,代价最高)。查找时采用自底向上的策略,优先级从高到低依次匹配node-local、rack-local、off-switch。但这里有一个关键的权衡设计——延迟调度:调度器拿到一份可用资源后,不会立刻凑合把任务扔到不满足本地性要求的节点上了事,而是先等待一段时间,看是否会出现满足node-local要求的资源;如果等了一段时间仍然没有,才退而求其次接受rack-local的资源;仍然等不到,才最终接受off-switch、随意调度到任何空闲资源。这个设计本质上是在”任务立刻开始执行(但可能要承担较高网络开销)”和”多等一会儿、换取更低的数据传输代价”之间做取舍,选择了后者——只要愿意稍微多等一下,往往能大幅降低网络I/O,这在网络带宽通常比计算资源更稀缺的分布式集群里是划算的。可迁移启发:当任务调度既要考虑”资源是否可用”又要考虑”资源的位置是否合适”时,”先等一小段时间去争取更优位置、超时后再降级接受次优位置”这种延迟调度策略,往往比”资源一到手就立刻使用”更能整体优化系统的网络/IO开销。
结构图:
flowchart TB
A["MRAppMaster获得可用资源"]
A --> B{"是否存在node-local资源?<br/>(数据与计算同节点)"}
B -->|"是"| N["node-local调度(最优)"]
B -->|"等待超时仍无"| C{"是否存在rack-local资源?<br/>(同机架不同节点)"}
C -->|"是"| RK["rack-local调度(次优)"]
C -->|"等待超时仍无"| D["off-switch调度<br/>(跨机架,任意空闲资源)"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》之"10.4.3 MapReduce关键技术"(源文件:_epub-src/OEBPS/text00082.html)
- 结论依据:原文说明"MapReduce根据输入数据与实际分配的计算资源之间的距离将任务分成三类:node-local、rack-local和off-switch……为了提高任务的数据本地性级别,MapReduce采用了延迟调度的策略,即如果等待一段时间后,还未出现满足node-local要求的资源,则考虑满足rack-local需求的资源,如果等待一段时间后,还未出现满足rack-local需求的资源,则将任务随意调度到有空闲节点的资源上", 直接支撑本卡三级调度与延迟策略的结构图。
- 原始内容:在分布式环境中,为了减少任务执行过程中的网络传输开销,通常将任务调度到输入数据所在的计算节点,也就是让数据在本地进行计算,而MapReduce正是以"尽力而为"的策略保证数据本地性的。