← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.j.13

内存数据库快在免编码

理解等级:中级

磁盘相对内存很难用,但我们容忍它,因为它持久且每 GB 更便宜。RAM 变便宜后,许多数据集完全可以放进内存(可能分布在多台机器上),于是有了内存数据库。

  • Memcached 等仅作缓存,重启丢数据可以接受;
  • 其他内存数据库追求持久性:电池供电的 RAM、把变更日志写盘、定时快照、复制到其他机器。即使写盘,读取完全由内存提供,磁盘只为持久化追加日志,仍算内存数据库;磁盘文件还方便外部工具备份、检查和分析。
  • VoltDB、MemSQL、Oracle TimesTen 是关系型内存数据库;RAMCloud 用日志结构方法;Redis、Couchbase 异步写盘,持久性较弱。

反直觉的结论:内存数据库的性能优势不是因为不用读磁盘——基于磁盘的引擎也可能从不读盘,因为操作系统会把最近使用的磁盘块缓存在内存里。它们更快,是因为省去了把内存数据结构编码成磁盘数据结构的开销。

内存数据库的另一个价值是提供难以用磁盘索引实现的数据模型,例如 Redis 的优先级队列、集合等,因为全在内存里所以实现相对简单。

反缓存(anti-caching)让内存架构支持比内存更大的数据集:内存不足时把最近最少使用的数据移到磁盘,再次访问时加载回来,类似操作系统的虚拟内存,但数据库能按单条记录而不是整页管理,所以更高效;不过索引仍须全部放在内存中。非易失性存储器(NVM)普及后,存储引擎设计可能还要改变。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第三章:存储与检索 · 查看原书依据

      反直觉的是,内存数据库的性能优势并不是因为它们不需要从磁盘读取的事实。即使是基于磁盘的存储引擎也可能永远不需要从磁盘读取,因为操作系统在内存中缓存了最近使用的磁盘块。相反,它们更快的原因在于省去了将内存数据结构编码为磁盘数据结构的开销。【44】。

    参考来源

    - 位置:《数据密集型应用系统设计》第03章《第三章:存储与检索》其他索引结构·在内存中存储一切(源文件:extracted/数据密集型应用系统设计/_epub-src/ch3_split_002.html,来源项目 book-sources) - 结论依据:第三章“在内存中存储一切”说明磁盘的两点优势与内存数据库的出现、持久化方式和产品示例,指出其性能优势来自省去内存结构到磁盘结构的编码开销而非免读磁盘,并介绍Redis类数据结构接口、反缓存与NVM。 - 原始内容:反直觉的是,内存数据库的性能优势并不是因为它们不需要从磁盘读取的事实。即使是基于磁盘的存储引擎也可能永远不需要从磁盘读取,因为操作系统在内存中缓存了最近使用的磁盘块。相反,它们更快的原因在于省去了将内存数据结构编码为磁盘数据结构的开销。【44】。