知识卡片

普通读书笔记卡 · 2574.c

负载驱动伸缩

理解等级:未标注

动态资源分配根据工作负载自动申请或移除Executor:任务积压就加,Executor空闲久了就减,通过集群管理器接口完成。它默认关闭,要显式开启,且在本地模式下不生效。它不是免费的自动扩容:移除Executor前要考虑其上的Shuffle文件和缓存是否仍被下游需要,否则会引发重算或拉取失败。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00053.html、_epub-src/EPUB/text00064.html) - 结论依据:原文说明ExecutorAllocationManager是基于工作负载动态分配和删除Executor的代理,需配置spark.dynamicAllocation.enabled为true且非local模式;Spark Job Scheduling文档(访问2026-09-27)确认该特性默认关闭,并说明移除Executor时需外部Shuffle服务或shuffle tracking等机制保留Shuffle文件。 - 原始内容:在配置spark.dynamicAllocation.enabled属性为true的前提下,在非local模式下或者当spark.dynamicAllocation.testing属性为true时启用。……Executor-AllocationManager是基于工作负载动态分配和删除Executor的代理。