返回主题:日志、崩溃与恢复

知识卡片

普通读书笔记卡

协调者崩溃恢复:不信共享内存,靠"日志+反查参与者"重建状态

理解等级:未标注

QD(协调者)作为一个进程,崩溃后它进程内的共享内存里那份”当前 有哪些分布式事务正在进行”的记录会被整个清空重置——理想情况下 如果共享内存能一直存活当然最省事,但Greenplum团队在真实调试 中发现事实并非如此:只要QD进程崩溃或被杀掉,父进程postmaster 会把所有现存的活跃事务状态全部重置,共享内存里原有的记录不再 可信。恢复时系统因此不能指望”内存里还留着崩溃前的状态”,而是 要靠两个相互独立的信息来源重建真相:一是自己的事务日志—— 只要事务已经完成了两阶段提交的commit prepare、被落盘记录过, 崩溃重启后直接从日志里读出来,重新发一次提交完成收尾;二是 主动去问每一个QE(参与者)——用一条简单的查询”select gid from pg_prepared_xacts”去反查各个QE上”已经prepare过、但还没收到 commit确认”的事务,这些是协调者自己也说不清楚最终该提交还是 该终止的”疑难事务”(in-doubt事务),一旦收集到就统一发送终止 指令,把它们清理掉。这套恢复逻辑的关键洞察是:协调者进程崩溃后 最不可信的就是它自己进程内的瞬时状态,真正靠得住的只有两类 东西——已经落盘的持久化记录,以及可以重新问一遍的、其他参与者 自己维护的状态;恢复的本质就是用这两类可信来源重新拼出一个 一致的结论,而不是假设内存状态能够神奇地幸存下来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第5章"分布式事务的实现"5.6节"分布式事务如何容错"(源文件: _epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文明确"通过对5.x版本的Greenplum做调试后发现, 如果QD进程崩溃或者被'杀'掉,作为父进程的postmaster会将所有 现存的活跃事务全部重置……系统恢复时并不是从共享内存里面获取 已经存在的分布式事务信息,而是通过事务日志落盘来记录信息, 然后启动的时候通过读事务日志来获取之前的分布式事务信息…… QD会先用gatherRMInDoubtTransactions从QE那里收集已经做过 prepare操作,但是还没做commit prepare操作的事务……收集完 以后……把已经prepare过的事务终止掉",直接说明恢复时依赖 事务日志和反查QE这两个独立来源、而非共享内存。 - 原始内容:系统恢复时并不是从共享内存里面获取已经存在的分布式 事务信息,而是通过事务日志落盘来记录信息,然后启动的时候 通过读事务日志来获取之前的分布式事务信息。