知识卡片

普通读书笔记卡

Hawq与Greenplum:CAP理论的一次具体产品级权衡

理解等级:未标注

Hawq本质是”把Greenplum的存储层从自己管理的磁盘换成HDFS”,这个 看似只是换了个存储后端的改动,实际上牵动了整个架构最核心的 权衡点。Greenplum的数据按分布键分散存储在各个segment实例上—— 这个特性对优化器生成高质量执行计划非常关键(执行计划优劣和 数据分布策略紧密相关),但代价是segment实例变成了”有状态”的: 每个primary角色都有一个mirror角色实时同步数据和事务日志,一旦 primary宕机、mirror被扶正接替,如果新primary在旧primary还没 恢复前又宕机了,整个集群就彻底不可用——这就是Greenplum的”双宕” 问题,是它为了保住”数据分布对优化器有利”这个性能特性而必须 承担的一致性/可用性代价。Hawq放弃了按分布键存储数据这个特点, 把数据全部丢给HDFS去管理,直接的代价是数据访问路径变长了(要 先找namenode拿元数据、再访问datanode取数据,比Greenplum直接 访问本地segment慢得多),执行计划的优化空间也变窄了;但换来的 收益是segment实例变成了完全无状态的——不再需要primary/mirror 这套复杂的同步机制,100个segment实例哪怕宕到只剩1个,理论上 集群依然能继续工作,”双宕”这个致命问题被HDFS的强一致性存储 彻底解决了。这正是CAP理论在真实产品上的一次具体演绎:Hawq牺牲 了性能换来强一致性(数据存储的高可用不依赖脆弱的双活同步), Greenplum牺牲了强一致性换来了性能(数据本地化换来更快的访问 和更好的执行计划)——两条路线不是谁更”对”,而是在同一个问题上 选择了权衡曲线的不同点。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第8章"云原生数据库"8.3节"Hawq项目介绍"(源文件: _epub-src/EPUB/xhtml/chapter15.xhtml) - 结论依据:原文明确"Hawq放弃了这个特点,然而获得的就是segment 实例的无状态……Greenplum存在一个致命的问题——双宕(double fault)……Hawq的segment实例没有角色之分,这方面的复杂度问题 被HDFS解决了……假设100个segment实例最后只剩下1个segment 实例,理论上也不会出问题……凡事有得必有失,任何要做强一致性 的系统,其性能必然受到影响,这也是CAP理论的论点。Hawq牺牲了 性能而获得了强一致性。Greenplum牺牲了强一致性,而获取了 性能",直接给出两个产品在CAP权衡上的对立定位。 - 原始内容:凡事有得必有失,任何要做强一致性的系统,其性能 必然受到影响,这也是CAP理论的论点。Hawq牺牲了性能而获得了 强一致性。Greenplum牺牲了强一致性,而获取了性能。