知识卡片

普通读书笔记卡

NVM的读写速度特性,让缓存管理和WAL都不再是必需品

理解等级:未标注

传统数据库架构里,”内存做缓存、磁盘做持久存储”这个两层结构 之所以必须存在,根源是磁盘(含SSD)比内存慢得多——数据库必须 先把数据从慢速持久介质复制进快速的内存缓存,才能高效访问, 这也正是为什么WAL(先写日志)机制必须存在:既然数据本身要通过 缓存管理延迟落盘,就必须先把变更记录写进日志来保证崩溃后能 恢复。NVM的出现动摇的正是这个前提:它比SSD写速度快一个数量级, 而且随机写和顺序写的速度差别不大——一旦持久存储本身的读写速度 已经快到不再是瓶颈,”先复制到内存缓存再操作”这个中间步骤的 存在理由就被削弱了,数据库可以直接从NVM里读取数据,不再需要 传统的缓存管理机制。同样的道理也适用于WAL:WAL存在的核心目的 是把”完整数据落盘”这个慢操作,转化成”先做一次快速的日志顺序 写”来兜底,但如果NVM本身写得足够快,直接把数据写入NVM也不再 是不可接受的慢操作,WAL这层间接机制也就不再是必需的了。这个 案例说明了一个更普遍的道理:数据库架构里很多看似”理所当然”的 设计(缓存管理、WAL),其实都是为了弥补特定硬件介质的速度短板 而存在的中间层——一旦底层硬件的速度特性发生根本变化,这些 中间层存在的必要性也要跟着重新评估,不能默认它们是永远正确 的架构惯例。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第9章"新技术的机遇"9.1节"NVM存储技术"(源文件: _epub-src/EPUB/xhtml/chapter16.xhtml) - 结论依据:原文明确"NVM比SSD写速度快一个数量级,而且随机写 和顺序写的速度差别不大。仅仅这个特点,就能够影响传统的数据库 系统设计。数据库管理系统的缓存管理在NVM这里就不是必要的了, 不需要从磁盘复制数据到内存,直接从NVM里面读取数据即可。同时, 前面章节介绍的WAL,也不是必需的,可以被直接写入NVM",直接 说明NVM的读写速度特性如何消解缓存管理和WAL存在的必要性。 - 原始内容:数据库管理系统的缓存管理在NVM这里就不是必要的了, 不需要从磁盘复制数据到内存,直接从NVM里面读取数据即可。同时, 前面章节介绍的WAL,也不是必需的,可以被直接写入NVM。