知识卡片
异步清理越界对象
长时间运行的应用会不断创建RDD、Shuffle和广播变量,用完后若不回收,Driver和Executor上的元数据、磁盘文件就会越积越多。上下文清理器在后台异步清理已经超出应用作用范围的RDD、Shuffle的map状态和元数据、广播对象以及RDD检查点数据。异步清理不阻塞作业,代价是回收时机不确定,内存敏感时仍要主动释放。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00053.html、_epub-src/EPUB/text00065.html)
- 结论依据:原文说明ContextCleaner以异步方式清理超出应用作用域的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象及RDD的Checkpoint数据,须在SparkContext初始化时启动;原卡“初始化依赖序”与上一卡重复,按本章重点改写。
- 原始内容:ContextCleaner:上下文清理器。ContextCleaner实际用异步方式清理那些超出应用作用域范围的RDD、ShuffleDependency和Broadcast等信息。……ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象及RDD的Checkpoint数据。