知识卡片
延迟调度价值
内容
数据局部性会减少跨网络读数据,但严格等待本地资源会拖慢任务。延迟调度允许任务短暂等待本地资源,超过阈值再放宽条件,用少量排队时间换整体吞吐。
参考来源
- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》"4.4.4 延迟调度策略(Delay Scheduling)"一节(源文件:_epub-src/OEBPS/text00009.html)
- 结论依据:原文明确"如果当前资源不满足数据局部性,那么可以暂时放弃分配公平性,任务i不接受当前资源,而是等待后续的资源分配……如果任务i在被跳过k次后仍然等不到满足局部性的资源,则放弃数据局部性,被迫接受当前资源来启动任务执行",即用有限次跳过换局部性。
- 原始内容:对于当前被调度到要被分配资源的任务i,如果当前资源不满足数据局部性,那么可以暂时放弃分配公平性,任务i不接受当前资源,而是等待后续的资源分配;当前资源可以跳过任务i分配给其他待调度任务j,如果任务i在被跳过k次后仍然等不到满足局部性的资源,则放弃数据局部性,被迫接受当前资源来启动任务执行。