返回主题:垃圾回收机制

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2578

任务内存隔离

理解等级:未标注

一个Executor上同时跑多个任务尝试,它们共享节点级内存管理器的执行内存,但各自有一个任务内存管理器负责本次尝试的申请和释放;尝试内部的排序器、聚合表等组件都是“内存消费者”,经它申请内存。节点共享、任务记账,内存用在哪、谁该释放都能定位,任务结束时也能把它申请的内存全部回收。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00198.html) - 结论依据:原文说明TaskMemoryManager管理单个任务尝试的内存分配与释放,多个TaskMemoryManager共享MemoryManager管理的内存;同一节点可运行多次任务尝试,所以每次尝试都有单独的任务内存管理器,结束后释放执行内存。 - 原始内容:任务内存管理器(TaskMemoryManager)用于管理单个任务尝试的内存分配与释放。TaskMemoryManager实际上依赖于MemoryManager提供的内存管理能力,多个TaskMemoryManager将共享MemoryManager所管理的内存。