知识卡片

普通读书笔记卡

off-heap技术:如何绕开JVM堆内存限制

理解等级:未标注

Java新对象默认都在Heap空间中分配内存,这是JVM自动内存管理机制带来的便利,但也意味着本地缓存这类需要长期驻留大量数据的场景,会持续挤占Heap空间、加重GC负担(见[[本地缓存的两个痛点内存占用与数据一致性]])。off-heap(堆外内存)技术的思路是把数据存储移出Heap空间之外,从而带来三方面好处:减少GC次数和降低暂停时间(因为GC默认只回收Heap空间,堆外内存中的数据不在GC管辖范围内)、可以扩展和使用更大的内存空间(不受Heap大小上限约束)、省去物理内存与Heap空间之间的数据复制步骤(若操作的直接是物理内存,JVM的本机I/O操作可以直接在物理内存上进行,否则需要先在物理内存和Heap之间来回复制)。Java中通过ByteBuffer.allocateDirect(capacity)创建DirectByteBuffer实例来直接在物理内存中分配固定大小的缓冲区,这也是Netty、RocketMQ等成熟框架处理网络I/O时的常见做法;但这类对象有一个形象的说法叫”冰山对象”——DirectByteBuffer对象本身仍然存储在Heap空间内,只是一个引用,其背后关联着一大段堆外内存,当这个Heap内的引用对象被GC回收时,它背后的堆外内存才会被一并释放,这意味着堆外内存的生命周期实际上仍然间接绑定在Heap对象的GC节奏上。使用off-heap的代价也很明确:申请物理内存资源的成本高于直接在Heap内操作,且需要额外考虑数据结构设计、序列化反序列化支持等问题,这解释了为什么实现一款支持off-heap特性的成熟缓存产品(如Ehcache 3.x、MapDB)本身并不容易——它不是简单地”换个地方存数据”,而是需要一整套配套的内存管理和序列化机制。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第4章《大促抢购核心技术难题——读/写优化方案》"4.1.3 神秘的off-heap技术"节(源文件:OEBPS/Text/0009.xhtml) - 结论依据:原文说明off-heap的好处"减少GC次数和降低暂停时间;可以扩展和使用更大的内存空间;可以省去物理内存与Heap空间之间的数据复制步骤",并说明"DirectByteBuffer 对象仅仅只是一个引用,其背后关联着一大段堆外内存……因此可以将其称为'冰山对象'……当DirectByteBuffer对象被GC回收时,其背后的堆外内存也会被一并释放",直接支撑本卡片结论。 - 原始内容:使用off-heap技术来存储数据信息……减少GC次数和降低暂停时间;可以扩展和使用更大的内存空间;可以省去物理内存与Heap空间之间的数据复制步骤……DirectByteBuffer 对象仅仅只是一个引用,其背后关联着一大段堆外内存……可以将其称为"冰山对象"。