知识卡片
Tungsten降开销
Tungsten(本书限定为一种内存分配实现)绕开Java对象,直接在一段连续内存上按偏移量存放数据:堆内模式存放在少量大对象中,堆外模式直接使用操作系统内存。对象少了,GC扫描和回收的频率随之下降;堆外内存可精确申请、释放和计量。堆外模式默认关闭。它缓解的是对象开销和GC压力,并非所有性能问题都出在这里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00194.html、_epub-src/EPUB/text00196.html)
- 结论依据:原文说明本书限定Tungsten为一种内存分配与释放的实现,使用sun.misc.Unsafe直接操作系统内存,不创建额外对象,降低GC扫描与回收频率;堆外内存可精确申请释放,序列化数据占用可精确计算;是否启用堆外由spark.memory.offHeap.enabled控制,默认false。
- 原始内容:Tungsten使用sun.misc.Unsafe的API直接操作系统内存,避免了在JVM中加载额外的Class,也不用创建额外的对象,因而减少了不必要的内存开销,降低了GC扫描和回收的频率,提升了处理性能。……可以通过spark.memory.offHeap.enabled属性(默认为false)来配置是否启用Tungsten