知识卡片

普通读书笔记卡 · 1769.r.1

并发版本交给业务合并

理解等级:高级

Dynamo读取到版本时,用向量时钟淘汰被因果覆盖的旧版本;D3与D4互不覆盖则保留为并发分支,由应用按业务语义合并。合并写需携带综合上下文,使新版本覆盖已解决的分支;不能随意丢掉其中一支再声称一致。裁剪时钟亦可能损失因果信息。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      Dynamo是最经典的基于P2P的大规模分布式KV数据库,对于后续类似大数据存取系统的研发有具大的影响,诸如Cassandra、Riak、Voldemort等系统大量借鉴其设计思路。这篇论文是了解大数据存储系统必须熟读的文献,在其中引入了一致性哈希数据分片策略、反熵协议、Merkle树、向量时钟、Quorum-based一致性协议等诸多技术。尽管这些技术大多数在Dynamo之前已有,但是很少有系统能够集如此众多经典的技术于一炉并锻造出基于此的实用系统。基于P2P的大规模存储架构管理的复杂性要远高于Master-Slave架构,对于其实用性尽管有争议,但是从技术角度看,这篇论文有很多值得借鉴和学习之处。

    • 数据复制与一致性 · 查看原书依据

      Dynamo中使用向量时钟进行数据版本管理,配合RWN协议共同完成数据一致性维护。在Dynamo中每份数据都存在多副本,由于其采用最终一致性,所以不同副本可能是同一个数据的不同版本,而每份副本数据都使用向量时钟来进行版本管理。Dynamo的客户端在更新数据的时候,需要指定数据的版本号,而这个版本号可以通过上次读取操作读出的数据对应的向量时钟来获得。在读取操作的时候,如果读出多个版本数据(即不同的向量时钟),Dynamo会根据向量时钟判断其因果关系,如果存在严格的因果关系则可以判断哪个数据是最新的(果新因旧),如果多版本之间不存 在因果关系则说明数据冲突,此时无法自动合并,所以需要交给应用来进行处理。

    参考来源

    - 位置:《大数据日知录:架构与算法》第2章《数据复制与一致性》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00007.html) - 结论依据:原文以“如果多版本之间不存在因果关系则说明数据冲突”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。 - 原始内容:Dynamo中使用向量时钟进行数据版本管理,配合RWN协议共同完成数据一致性维护。在Dynamo中每份数据都存在多副本,由于其采用最终一致性,所以不同副本可能是同一个数据的不同版本,而每份副本数据都使用向量时钟来进行版本管理。Dynamo的客户端在更新数据的时候,需要指定数据的版本号,而这个版本号可以通过上次读取操作读出的数据对应的向量时钟来获得。在读取操作的时候,如果读出多个版本数据(即不同的向量时钟),Dynamo会根据向量时钟判断其因果关系,如果存在严格的因果关系则可以判断哪个数据是最新的(果新因旧),如果多版本之间不存 在因果关系则说明数据冲突,此时无法自动合并,所以需要交给应用来进行处理。 - 边界对照:[Raft原论文](https://raft.github.io/raft.pdf)、[Paxos原论文](https://lamport.azurewebsites.net/pubs/paxos-simple.pdf)、[Dynamo原论文](https://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf)、[原子提交与共识的区分](https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2003-96.pdf);用于校正原书简化,未将书外观点伪作原文。