知识卡片
Greenplum上云屡屡受挫的根因:Interconnect按局域网参数调校
Greenplum先后尝试过PCF平台(PaaS)、K8S(GP4K)、直接部署在 公有云(AWS)三条上云路径,三次尝试的结果都不理想,而且书中 指出这三次失败背后其实是同一个根因,不是三个独立的问题。 Greenplum本质是一个OLAP型MPP数据库,它的核心通信基础设施 Interconnect底层依赖TCP/UDP直接通信,对延迟和抖动极其敏感; 更关键的是,这套通信协议里各种超时机制的具体参数,从设计之初 就是按照高速局域网的网络特性来调校的——数据中心内部网络延迟 低、抖动小、带宽稳定,这些是Interconnect性能假设成立的前提。 云平台的网络环境和这个前提天差地别:公有云网络普遍走虚拟化 网络层,延迟更高、更不稳定,这对Interconnect这种基于UDP自己 实现流量控制和可靠传输的模块是一个很大的考验;PaaS平台(PCF) 更是主要面向Web应用设计,组件间通信习惯用HTTP/WebSocket这类 偏向应用层、对延迟没那么敏感的协议,和Greenplum底层TCP/UDP 直连、追求极致低延迟的通信模式完全不是一回事。这个案例说明: 一套为特定网络环境(高速局域网)深度优化调校过的系统,迁移到 另一种网络特性完全不同的环境(云虚拟化网络)时,性能问题往往 不是”调几个参数”就能解决的表面问题,而是整套通信层的设计假设 本身就要重新审视——这也是Greenplum即便换了三种不同的云部署 形态,结果始终不理想的根本原因所在。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》
第8章"云原生数据库"8.1节"Greenplum的云原生尝试"(源文件:
_epub-src/EPUB/xhtml/chapter15.xhtml)
- 结论依据:原文明确"Greenplum是一个OLAP型数据库,底层依赖tcp
或udp通信,对性能要求高。比如,通信协议之间超时机制的调校
都是按照局域网来配置的,所以这次上云尝试的结果肯定不乐观……
运行效果同样不好,原因还是一样的,Greenplum集群里面的性能
调校都是按照高速局域网来设置的……公有云的网络都是虚拟化网络,
这对于像Interconnect这种基于UDP实现通信的模块是一个很大的
考验",三次上云尝试均指向同一个根因。
- 原始内容:Greenplum集群里面的性能调校都是按照高速局域网来
设置的,而且分布式系统的通信方式和内部逻辑也很复杂,所以
Greenplum直接部署到公有云也存在很多问题。