知识卡片

普通读书笔记卡 · 2573.a

RPC连接复用

理解等级:未标注

Spark的RPC客户端工厂为每个远端地址维护一个连接池,对等节点之间保持多条连接,数量可配置;每次调用从池中随机挑一个连接使用,既避免频繁建连的开销,又把请求分散到多条连接上,不让单连接成为并发瓶颈。RPC性能往往取决于连接生命周期管理,而不只是序列化速度。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00035.html、_epub-src/EPUB/text00037.html) - 结论依据:原文说明TransportClientFactory内部针对每个Socket地址维护连接池ClientPool,对等节点间连接数由numConnectionsPerPeer配置,并随机选择池中的TransportClient以对每个连接做负载均衡。 - 原始内容:此外,TransportClientFactory内部还存在针对每个Socket地址的连接池ClientPool……·rand:对Socket地址对应的连接池ClientPool中缓存的TransportClient进行随机选择,对每个连接做负载均衡。