知识卡片

普通读书笔记卡

Greenplum上云屡屡受挫的根因:Interconnect按局域网参数调校

理解等级:未标注

Greenplum先后尝试过PCF平台(PaaS)、K8S(GP4K)、直接部署在 公有云(AWS)三条上云路径,三次尝试的结果都不理想,而且书中 指出这三次失败背后其实是同一个根因,不是三个独立的问题。 Greenplum本质是一个OLAP型MPP数据库,它的核心通信基础设施 Interconnect底层依赖TCP/UDP直接通信,对延迟和抖动极其敏感; 更关键的是,这套通信协议里各种超时机制的具体参数,从设计之初 就是按照高速局域网的网络特性来调校的——数据中心内部网络延迟 低、抖动小、带宽稳定,这些是Interconnect性能假设成立的前提。 云平台的网络环境和这个前提天差地别:公有云网络普遍走虚拟化 网络层,延迟更高、更不稳定,这对Interconnect这种基于UDP自己 实现流量控制和可靠传输的模块是一个很大的考验;PaaS平台(PCF) 更是主要面向Web应用设计,组件间通信习惯用HTTP/WebSocket这类 偏向应用层、对延迟没那么敏感的协议,和Greenplum底层TCP/UDP 直连、追求极致低延迟的通信模式完全不是一回事。这个案例说明: 一套为特定网络环境(高速局域网)深度优化调校过的系统,迁移到 另一种网络特性完全不同的环境(云虚拟化网络)时,性能问题往往 不是”调几个参数”就能解决的表面问题,而是整套通信层的设计假设 本身就要重新审视——这也是Greenplum即便换了三种不同的云部署 形态,结果始终不理想的根本原因所在。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》 第8章"云原生数据库"8.1节"Greenplum的云原生尝试"(源文件: _epub-src/EPUB/xhtml/chapter15.xhtml) - 结论依据:原文明确"Greenplum是一个OLAP型数据库,底层依赖tcp 或udp通信,对性能要求高。比如,通信协议之间超时机制的调校 都是按照局域网来配置的,所以这次上云尝试的结果肯定不乐观…… 运行效果同样不好,原因还是一样的,Greenplum集群里面的性能 调校都是按照高速局域网来设置的……公有云的网络都是虚拟化网络, 这对于像Interconnect这种基于UDP实现通信的模块是一个很大的 考验",三次上云尝试均指向同一个根因。 - 原始内容:Greenplum集群里面的性能调校都是按照高速局域网来 设置的,而且分布式系统的通信方式和内部逻辑也很复杂,所以 Greenplum直接部署到公有云也存在很多问题。