返回主题:存储常用数据结构

知识卡片

结构图卡

共享缓冲区:多级缓存降低物理I/O的条件

理解等级:未标注

如果成千上万用户直接从磁盘目录/文件读写数据,会产生一个极不可扩展的系统——每次读写都要搜索文件、打开文件、用fseek()定位记录、加锁、编辑、解锁。为解决这个问题,PostgreSQL引入共享缓冲区:后端进程不再直接读写文件,而是从共享内存(由shared_buffers参数决定容量,服务器启动时一次性分配)中读写,明显改善性能。共享缓冲区之外还叠着操作系统缓存,二者共同大幅降低了实际的物理I/O次数;再往下还有磁盘控制器缓存、磁盘驱动器缓存等更底层的缓存层。一次简单的SELECT语句要经历的过程是:先检查所需数据是否已在数据库缓存(共享缓冲区)中,若不在则向操作系统发起请求获取特定文件/块——这时如果OS缓存里恰好有这个文件/块,就直接从OS缓存传递给数据库缓存,依然避免了物理I/O;只有当所需数据在这些缓存里都不存在时,用户发起的读/写才会真正触发物理I/O。这意味着大多数用户驱动的读写操作都会通过缓冲区完成,物理I/O被限制在一定范围内——除非数据库缓冲区相对于实际访问的数据集过小,或者不同事务确实在访问文件系统里分散的不同区域,缓冲区才会被迫频繁与磁盘交换数据。即便用户对表数据做了大幅改动并提交,这个操作往往也不会立即写入底层数据文件,可能只是确保WAL文件与WAL缓冲区同步——这也是共享缓冲区与WAL机制分工协作、共同保证持久性的关键结合点。

结构图:

flowchart TB
  Q["用户发起读/写请求"]
  Q --> C1{"数据在共享缓冲区(shared_buffers)?"}
  C1 -->|是| H1["命中,避免物理I/O"]
  C1 -->|否| C2{"数据在OS缓存中?"}
  C2 -->|是| H2["OS缓存→数据库缓存,避免物理I/O"]
  C2 -->|否| IO["触发真正的物理I/O"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用》第2章《服务器架构》之"2.2 理解共享缓冲区"(源文件:_epub-src/OEBPS/text00021.html) - 结论依据:原文说明"首先要考虑的一件事情就是检查它所需要的数据是否已存在于数据库缓存中。如果数据不存在,就向OS发出一个请求,以获取特定的文件/块。存在这样一种可能性,即OS缓存已经具有文件/块,那么它将其传递到数据库缓存。在这两种情况下,物理I/O操作是可以避免的。只有当所需数据不存在于这些缓存(或其他缓存)中,用户初始化的读/写才会导致物理I/O", 直接支撑本卡关于两级缓存与物理I/O触发条件的结构图。 - 原始内容:即使是在这样一个场景中:一个用户对表数据进行了大幅改动并提交了一个更改,这样的操作可能并不会立即将数据写入底层数据文件中。这可能仅仅产生这样一个结果:就是确保WAL文件与WAL缓冲区保持同步即可。