返回主题:线程池容量边界与过载策略

知识卡片

普通读书笔记卡

连接池对PG格外重要,因为每个连接都要fork一个进程

理解等级:未标注

PostgreSQL的多进程连接模型(见”Postmaster主进程fork子进程”这一 架构特点)决定了直连数据库的代价比线程模型的数据库更高:每来一个 新连接就要fork出一个独立的服务进程,断开连接又要销毁这个进程, 频繁的创建/销毁本身就要消耗不少系统资源。这正是PgBouncer这类外部 连接池工具对PostgreSQL格外重要的根本原因——它把和后端PostgreSQL的 连接缓存下来,前端应用请求来了,只是从这批缓存好的连接里分配一个 空闲的用,不必每次都触发一次真实的fork/销毁。连接池还解决了另一个 容易被忽视的问题:数据库真正能高效并行处理的连接数,大致受CPU核数 制约(理论上后台服务进程数接近CPU核数时CPU利用率最高,因为不需要 在进程间频繁切换),书中给出一条经验:允许的连接数一旦超过CPU核数 的4倍,CPU有效利用率就会明显下降——但现实中应用侧往往希望能同时 建立远超CPU核数的连接(比如上千个),连接池的第二个价值就是把前端 大量并发连接”收敛”到后端一个更合理、更贴近CPU核数量级的连接池里, 这样应用层看起来连接很充裕,实际压到数据库上的并发连接数是被控制 过的。PgBouncer具体提供了三种池化粒度,代表着”连接归还给池子”的 不同时机:session(会话级)在整个客户端连接期间独占一个数据库 连接,客户端断开才归还,隔离性最好但复用率最低;transaction(事务 级)每个事务结束就归还连接,下一个事务再重新取,复用率更高; statement(语句级)每执行完一条SQL就立刻归还,复用率最高,但这 要求客户端强制使用自动提交模式,牺牲了跨语句维持同一个连接状态 (比如显式事务、会话级临时对象)的能力。选择哪种粒度,本质是在 “连接复用率”和”客户端能保留多少连接级状态”之间取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《PostgreSQL修炼之道:从小工到专家(第2版)》第14章"PgBouncer" 14.1节"PgBouncer介绍"、14.2节"PgBouncer的相关概念"(源文件: _epub-src/OEBPS/Text/chapter461.xhtml、chapter462.xhtml) - 结论依据:原文明确"如果应用程序直接与PostgreSQL连接,每次连接时 PostgreSQL都会克隆(Linux及UNIX下通过fork系统调用)出一个服务 进程为应用程序服务……如果连接数超过CPU核数的4倍,CPU有效利用率 会大大下降……PgBouncer目前支持以下3种连接池模型:session…… transaction……statement……这种模式意味着在客户端强制使用autocomit 模式",直接说明PG连接的fork开销、CPU核数与连接数的经验关系,以及 三种池化粒度的具体语义。 - 原始内容:如果连接数超过CPU核数的4倍,CPU有效利用率会大大下降…… transaction:事务级别连接,当客户端的事务结束时,数据库连接就会 重新释放回连接池中。