知识卡片
Hawq与Greenplum:CAP理论的一次具体产品级权衡
Hawq本质是”把Greenplum的存储层从自己管理的磁盘换成HDFS”,这个 看似只是换了个存储后端的改动,实际上牵动了整个架构最核心的 权衡点。Greenplum的数据按分布键分散存储在各个segment实例上—— 这个特性对优化器生成高质量执行计划非常关键(执行计划优劣和 数据分布策略紧密相关),但代价是segment实例变成了”有状态”的: 每个primary角色都有一个mirror角色实时同步数据和事务日志,一旦 primary宕机、mirror被扶正接替,如果新primary在旧primary还没 恢复前又宕机了,整个集群就彻底不可用——这就是Greenplum的”双宕” 问题,是它为了保住”数据分布对优化器有利”这个性能特性而必须 承担的一致性/可用性代价。Hawq放弃了按分布键存储数据这个特点, 把数据全部丢给HDFS去管理,直接的代价是数据访问路径变长了(要 先找namenode拿元数据、再访问datanode取数据,比Greenplum直接 访问本地segment慢得多),执行计划的优化空间也变窄了;但换来的 收益是segment实例变成了完全无状态的——不再需要primary/mirror 这套复杂的同步机制,100个segment实例哪怕宕到只剩1个,理论上 集群依然能继续工作,”双宕”这个致命问题被HDFS的强一致性存储 彻底解决了。这正是CAP理论在真实产品上的一次具体演绎:Hawq牺牲 了性能换来强一致性(数据存储的高可用不依赖脆弱的双活同步), Greenplum牺牲了强一致性换来了性能(数据本地化换来更快的访问 和更好的执行计划)——两条路线不是谁更”对”,而是在同一个问题上 选择了权衡曲线的不同点。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。