知识卡片
work_mem与maintenance_work_mem:会话级分配的放大陷阱
work_mem(默认1MB,最小64KB)决定了排序操作与散列表操作在切换到临时磁盘文件之前可以使用的内存上限——如果分配不足会导致物理I/O,产生响应时间的高峰值,这让人直觉上倾向于把它调大。但work_mem与[[共享缓冲区:多级缓存降低物理I/O的条件|shared_buffers]]的分配方式完全不同:shared_buffers是在服务器层级一次性分配的固定共享内存,而work_mem是按每个用户会话分配的,甚至同一个查询内如果存在多个并行的排序操作,每一个都可能各自用到这个参数的最大设置值——这意味着如果把max_connections保持默认的100、同时把work_mem调到32MB,一旦许多独立会话同时在做重排序,实际内存消耗可能轻松超过3GB,远超”调大一个参数”这个动作看起来的代价。更稳妥的做法是只在会话层面临时调高这个值(针对已知会处理大数据量、但仍需要短暂响应时间的具体查询),而不是全局调高。maintenance_work_mem则是专门给分析、清空、创建索引、再索引等维护类操作使用的内存区域,分配是否充足直接影响这些维护活动的完成耗时(体现为创建索引过程中临时文件数量的增减);由于pg_restore恢复数据库通常伴随大量索引创建,建议在执行pg_restore时专门调高这个参数。这两个参数共同的教训是:内存类参数的”调大就能提速”直觉,必须先看清它是按服务器层级一次分配、还是按会话/操作层级重复分配——后一种情况下,参数值需要乘以并发数量才是真实的资源占用估算。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用》第2章《服务器架构》之"2.10 使用work_mem在内存中进行排序"与"2.11 使用maintenance_work_mem进行维护"(源文件:_epub-src/OEBPS/text00032.html-text00033.html)
- 结论依据:原文说明"这并不像shared_buffers一样在服务器层级进行分配。其被分配给每个用户。甚至是在一个查询内,如果有多个排序操作并联,每一个操作都可能运行到此参数的最大设置值。因此,如果我们一直保持默认的max_connections(100),并决定将其增加至32 MB……我们最终可能会使用超过3 GB的内存……由于使用pg_restore来恢复数据库通常会包括索引创建,我们建议在使用pg_restore时候,增加maintenance_work_mem", 直接支撑本卡关于两个内存参数分配方式差异及调优建议的结论。
- 原始内容:更好的选择是在对话层面增加该值。这主要是针对我们知道要处理的数据量将变多,然而我们仍需要一个短暂的响应时间的情况。