知识卡片
Interconnect弃TCP选UDP:端口数会随并发规模指数级耗尽
MPP数据库的核心动作是让所有工作节点之间互相交换数据(比如哈希 重分布),如果用TCP连接来实现这种”每个节点都要和其他所有节点 通信”的模式,代价不是线性增长而是乘法增长:假设一个查询涉及 x个segment实例、产生了y个slice(执行阶段),一旦遇到需要跨 实例交换数据的算子,每个实例就需要维护x×y个端口连接。书中给 的具体数字很直观:y取16、x取64,单个查询就要占用64×16=1024 个端口;如果同时有64个这样的并发查询,端口资源直接被耗尽,这 对操作系统而言是难以承受的负荷。这个量化论证说明TCP连接模型 的问题不是”慢”,而是”连接数随并发规模的乘积增长,会撞上操作 系统资源的硬上限”——这是一个规模问题,不是性能调优能解决的 问题。Greenplum团队的应对方式是自己在UDP之上实现一套带流量 控制的协议(UDPIFC):因为UDP本身不需要维持连接状态,一个实例 处理一个查询时只需要打开两个端口就够了,彻底避开了”端口数随 节点数乘积增长”这个结构性瓶颈。但放弃TCP的连接语义也意味着 放弃了TCP自带的可靠传输保证(重传、乱序处理、流量控制),这些 能力必须在应用层由UDPIFC自己重新实现——这是一个典型的”用一个 维度的复杂度换另一个维度的可扩展性”的工程取舍:省下了操作系统 连接资源,换来的是自己维护一套可靠传输协议的额外工程量。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》
第4章"Greenplum总体架构"4.3.3节"Interconnect模块"(源文件:
_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文明确"假设,我们有一个包含x个segment实例的MPP
数据库,某一个查询产生了y个slice。如果遇到了一个哈希重分布
的算子,x个实例之间就都需要交互数据。那每一个实例就需要占用
x×y个端口……这个查询就会占用x×y=16×64=1024个端口。64个SQL
并发查询就会导致资源耗尽……所以在这样的情况下,TCP肯定不是
最好的选择", 直接给出量化数字论证TCP端口耗尽问题及UDP方案
的选择依据。
- 原始内容:假设,我们有一个包含x个segment实例的MPP数据库,
某一个查询产生了y个slice……那每一个实例就需要占用x×y个端口。
假设y为16,x为64。这个查询就会占用x×y=16×64=1024个端口。
64个SQL并发查询就会导致资源耗尽。