知识卡片
分布式快照靠QD统一生成,而非各实例各自判断可见性
Greenplum的各个segment实例执行同一批SQL语句的顺序可能不一样: 比如实例1先执行SQL1再执行SQL2,实例2却先执行SQL2再执行SQL1, 如果每个实例都完全按照自己本地的执行顺序、独立判断某条新插入 数据对自己是否可见,就会出现同一份数据在不同实例上”可见性”不 一致的问题——在实例1上SQL1看不到新数据,在实例2上SQL1却能看到, 同一条语句在不同节点上得到不同结果,这是分布式场景下单机MVCC 思路直接照搬会踩的坑。Greenplum的解法是不让每个segment实例 各自决定”什么对我可见”,而是把这个决定权集中到QD(协调者) 身上:QD统一生成一份分布式快照和一个分布式事务标识,把这份 唯一的”当前可见性判断依据”发给所有QE(工作实例),各个QE不再 用自己本地的执行时刻去判断可见性,而是拿着QD发来的这同一份 分布式快照去做判断——这样无论各实例本地执行顺序如何错开, 它们依据的”什么已提交、什么正在进行”这份标准是完全一致的一份 拷贝,可见性判断的结果自然也就一致了。这个设计的本质是把”多个 节点各自维护一份可能不同步的本地视角”,替换成”一个节点生成 权威视角、其余节点统一引用”,这是分布式系统里处理”多个参与者 需要对同一件事达成一致认知”这类问题时一个反复出现的通用套路, 不只适用于快照。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》
第6章"分布式计算的实现"6.4.1节"分布式快照的实现方式"(源文件:
_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文明确"在Greenplum里,SQL语句在不同实例上的
执行顺序可能不同……这样就会造成数据的不一致。Greenplum是
如何解决这个问题的呢?简单来说,就是在QD上面生成分布式快照
和分布式标识,把这些信息发送给各个segment实例,在各个实例上
按照一定逻辑对分布式快照和分布式标识进行对比,决定当前元组
是否可见……QD原则上是所有分布式事务和分布式快照的创建者和
管理者,QE只是使用QD的信息",直接说明QD统一生成快照、QE
统一引用的设计及其解决的具体问题。
- 原始内容:简单来说,就是在QD上面生成分布式快照和分布式标识,
把这些信息发送给各个segment实例,在各个实例上按照一定逻辑
对分布式快照和分布式标识进行对比,决定当前元组是否可见。