知识卡片
负载驱动伸缩
动态资源分配根据工作负载自动申请或移除Executor:任务积压就加,Executor空闲久了就减,通过集群管理器接口完成。它默认关闭,要显式开启,且在本地模式下不生效。它不是免费的自动扩容:移除Executor前要考虑其上的Shuffle文件和缓存是否仍被下游需要,否则会引发重算或拉取失败。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00053.html、_epub-src/EPUB/text00064.html)
- 结论依据:原文说明ExecutorAllocationManager是基于工作负载动态分配和删除Executor的代理,需配置spark.dynamicAllocation.enabled为true且非local模式;Spark Job Scheduling文档(访问2026-09-27)确认该特性默认关闭,并说明移除Executor时需外部Shuffle服务或shuffle tracking等机制保留Shuffle文件。
- 原始内容:在配置spark.dynamicAllocation.enabled属性为true的前提下,在非local模式下或者当spark.dynamicAllocation.testing属性为true时启用。……Executor-AllocationManager是基于工作负载动态分配和删除Executor的代理。