知识卡片

普通读书笔记卡

Hot Standby查询冲突的根源:主库VACUUM清理了备库还需要的旧版本

理解等级:未标注

物理流复制的备库如果开放只读查询(Hot Standby),会出现一类容易让人 困惑的报错:”canceling statement due to conflict with recovery”—— 一条查询突然被数据库自己取消。根源在于MVCC和物理复制两套机制叠加 后产生的一个具体冲突:主库上的AutoVacuum会按照主库自己的视角判断 “哪些旧版本数据已经没有任何事务会再用到、可以安全清理”,但它完全 不知道备库上此刻正有一个长查询,依赖着某个已经被主库判定为”过期” 的旧版本行去做一致性读取。一旦主库把这份数据真的清理掉,这个清理 动作会通过WAL传到备库、被要求重放,而备库上那条还在运行、还需要 这份旧版本数据的查询就陷入了两难——继续跑下去数据已经不完整了, 所以数据库选择直接取消这条查询。PostgreSQL对这类冲突提供了两种 处理方向:一是让备库应用WAL的进程先等一会儿,等备库上的查询自然 结束再继续追赶(用max_standby_archive_delay/max_standby_streaming_ delay控制最长等待时间,超时就还是取消查询——如果备库主要用来做 故障切换的热备,这两个参数应该设小,避免备库落后主库太多;如果备库 主要是拿来跑大查询的,可以设大一些,优先保证查询能跑完);二是从 根源上解决——在备库上开启hot_standby_feedback,让备库主动把”我这里 还有查询依赖哪些版本”反馈给主库,主库的AutoVacuum据此推迟清理这些 数据,从源头上减少冲突发生的次数(代价是主库上的旧版本数据会因此 积压得更多、更久)。这个案例说明:物理复制不只是简单地把字节从主库 搬到备库,MVCC的垃圾回收决策一旦只站在写方(主库)视角、不考虑读方 (备库)的实际需求,就会在跨节点场景里产生这种协调问题,hot_standby_ feedback本质是给读方一个向写方”报告自己还需要什么”的反馈通道。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《PostgreSQL修炼之道:从小工到专家(第2版)》第13章"Standby 数据库的搭建"13.6.2节"Hot Standby的查询冲突处理"(源文件: _epub-src/OEBPS/Text/chapter442.xhtml) - 结论依据:原文明确"主库上运行的VACUUM清理掉了备库上的查询需要 的多版本数据……大多数冲突发生的原因是主库上把备库需要的多版本 数据给清理掉了,这时可以通过在备库上的postgresql.conf中设置参数 'hot_standby_feedback'为'true'来解决此问题。设置此参数为'true'后, 备库会通知主库,哪些多版本数据在备库上还需要,这样主库上的 AutoVacuum就不会清理掉这些数据",直接说明查询冲突的根源及 hot_standby_feedback的反馈机制。 - 原始内容:大多数冲突发生的原因是主库上把备库需要的多版本数据给 清理掉了……设置此参数为"true"后,备库会通知主库,哪些多版本数据 在备库上还需要,这样主库上的AutoVacuum就不会清理掉这些数据。