知识卡片
RPC连接复用
Spark的RPC客户端工厂为每个远端地址维护一个连接池,对等节点之间保持多条连接,数量可配置;每次调用从池中随机挑一个连接使用,既避免频繁建连的开销,又把请求分散到多条连接上,不让单连接成为并发瓶颈。RPC性能往往取决于连接生命周期管理,而不只是序列化速度。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00035.html、_epub-src/EPUB/text00037.html)
- 结论依据:原文说明TransportClientFactory内部针对每个Socket地址维护连接池ClientPool,对等节点间连接数由numConnectionsPerPeer配置,并随机选择池中的TransportClient以对每个连接做负载均衡。
- 原始内容:此外,TransportClientFactory内部还存在针对每个Socket地址的连接池ClientPool……·rand:对Socket地址对应的连接池ClientPool中缓存的TransportClient进行随机选择,对每个连接做负载均衡。