知识卡片

结构图卡

日志传递与流复制:复制延迟从"文件级"降到"记录级"

理解等级:未标注

最简单的水平扩展方式是读写分离的主从复制:一台主服务器接受所有写入,一个或多个从服务器承担大部分读取——写入侧的扩展能力始终局限在这一个主节点上,如果应用本身写多读少,这种方式对基础设施的压力会很大。PostgreSQL所有复制方式都建立在[[WAL的三大用途,及wal_level的三档信息量设置|WAL]]之上,但传输WAL的粒度经历了一次关键演进。日志传递(较早的方式)是把已经填满的整个WAL文件(默认16MB一个)移动到另一台服务器或同一服务器的另一个集群上——这是异步的,主服务器已提交的数据要等到对应的WAL文件被填满、传输、重放之后才会出现在从服务器上,主从之间”最终一致”而非”实时一致”,一旦主服务器在这段延迟窗口内崩溃,尚未被传递的事务就可能丢失;把archive_timeout调低能让文件切换更频繁、缩短从服务器的滞后,但代价是增加了通过网络传输的数据量。流复制解决的正是这个粒度问题:WAL记录一产生就能被传输,不需要等它凑满一整个文件,从而把延迟从”文件级别”降到了接近”记录级别”,这是目前实现读写分离水平扩展、且延迟最低的方式,故障时也能让备用服务器直接升级为新的主服务器。可迁移启发:判断一套复制方案的实时性水平,直接问它传输的最小单位是”整个日志文件”还是”单条WAL记录”——这个粒度差异,往往比”用了什么工具”这类表面问题更能决定从服务器数据滞后的严重程度。

结构图:

flowchart LR
  A["主服务器WAL记录产生"]
  A --> B["日志传递(较早方式)<br/>等WAL文件填满(16MB)才整体传输<br/>异步,主从'最终一致'"]
  A --> C["流复制<br/>WAL记录一产生即可传输<br/>延迟降至接近记录级别"]
  B --> D["崩溃风险:未传递完的文件内事务可能丢失"]
  C --> E["故障时备用服务器可直接升级为主服务器"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用》第10章《扩展、复制、备份和恢复》之"10.1.2.1 读/写分离的主从复制"与"10.1.2.2 流复制"(源文件:_epub-src/OEBPS/text00114.html) - 结论依据:原文说明"所谓日志传递,即把WAL文件(已被填满的)移动到另一个服务器……日志传送是异步的,其中在主服务器上所提交的数据出现在从服务器之前,可以有一个延迟……这也意味着有可能会出现数据丢失的问题……WAL记录产生后,无需等日志文件被填充,我们就可能得到这些记录。这样可以减少滞后", 直接支撑本卡关于日志传递与流复制延迟粒度差异的结构图。 - 原始内容:如果我们保持一个低的archive_timeout值,文件之间的切换会较为频繁地发生,而二级服务器上的滞后将会下降。然而,这样会增加通过网络传输的数据量。