返回主题:Spark内核执行机制

知识卡片

专业/工作

Spark避开GC

理解等级:未标注

Spark把RDD或存储内存扩展到持久内存/堆外区域,可减少堆内对象膨胀和GC压力。机器学习迭代任务的瓶颈常不是算子本身,而是数据溢写和垃圾回收吞掉了时间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    《持久内存架构与工程实践》第7章《持久内存在大数据中的应用》