返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2578.a

消费者主动溢写

理解等级:未标注

执行引擎不能只会申请内存:任务内存不足时,任务内存管理器会要求已登记的内存消费者把部分数据溢写到磁盘,腾出空间继续运行;排序器中的记录数达到阈值时也会主动溢写,最后把溢写文件与内存数据合并。用速度换能跑完,避免直接内存溢出失败。频繁溢写通常说明分区太大或内存配置偏小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00199.html) - 结论依据:原文说明TaskMemoryManager为内存消费者申请执行内存,Task内存不足时调用MemoryConsumer的spill方法释放内存;排序器记录数达到阈值时也会溢出到磁盘。 - 原始内容:当Task没有足够的内存时,将调用MemoryConsumer的spill方法(见代码清单8-27)释放内存。