返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2577.f

本地性等待权衡

理解等级:未标注

任务最好跑在数据所在的节点上(进程内、节点内、机架内、任意),调度器按本地性级别从高到低尝试。但任务时长无法预知,若一直等最佳位置,可能被占着资源的长任务拖住,所以每一级只等一段时间,等不到就降一级。这是在“少搬数据”和“别让资源空转”之间动态取舍,等待时长就是那个旋钮。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00167.html) - 结论依据:原文说明Task本地性优先分配较高级别,否则逐级降低直到ANY;若没有最佳本地性资源而一直固执等待,可能被长时间占用最佳资源的任务耽搁,所以退而求其次。 - 原始内容:Task本地性的分配优先考虑有较高的本地性的级别,否则分配较低的本地性级别,直到ANY。……当一个任务在分配时,如果没有满足最佳本地性(PROCESS_LOCAL)的资源,而一直固执地期盼得到最佳的资源,很有可能被已经占用最佳资源但是运行时间很长的任务耽搁