知识卡片
TOAST:用切片和压缩绕开固定页大小对大字段的限制
PostgreSQL的数据页大小是固定的(默认8KB),而且不允许一行数据跨越
多个页面存储,这意味着如果直接按字面存储,任何超大字段(比如一段
很长的文本)都可能撑爆单个页面。TOAST(The Oversized-Attribute
Storage Technique)是PostgreSQL解决这个矛盾的机制:对变长类型的字段,
只要触发了阈值(默认约2040字节,约为一个数据块的四分之一),就把这个
字段值压缩或者切片搬到一张专属的、与原表关联的TOAST表里,原表这一行
只留一个20字节的指针(包含TOAST表的OID、这份数据的chunk_id、逻辑
长度和实际存储长度)。TOAST表本身把大字段切成约2KB一块的Chunk,每块
作为独立的行存储,靠chunk_id+chunk_seq的联合索引支持快速定位和
重新拼接。每个字段可以配置4种存储策略,本质是”压不压缩”和”是否允许
行外存储”两个维度的组合:PLAIN(不压缩也不行外存储,用于不支持
TOAST的类型)、EXTENDED(大多数可TOAST类型的默认策略,先尝试压缩,
仍然太大再行外存储)、EXTERNAL(允许行外存储但不压缩,代价是占用
更多空间,换来的好处是对text/bytea这类字段做子字符串操作时可以
只读取需要的那一小段,不必解压整个值)、MAIN(允许压缩但尽量避免
行外存储,只在压缩后仍装不下时才行外存储,是最后手段)。这套设计的
核心思路是:不强行让”页面大小固定”和”字段值无限大”这对矛盾在物理
存储层面消失,而是把超限的部分挪到另一个专门优化过读写模式的表里,
原表始终保持紧凑、可预测的行大小。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《PostgreSQL修炼之道:从小工到专家(第2版)》第6章"逻辑结构
管理"6.4.2节"表的存储属性"(源文件:
_epub-src/OEBPS/Text/chapter175.xhtml)
- 结论依据:原文明确"由于PostgreSQL页面的大小是固定的(通常是8KB),
并且不允许行跨越多个页面,因此不可能直接存储非常大的字段值……大的
字段值通常被压缩或切片成多个物理行存到另一张系统表中,即TOAST
表……每个字段有以下4种TOAST策略:PLAIN……EXTENDED……EXTERNAL……
MAIN",直接说明TOAST机制的触发原因、实现方式及四种存储策略的
具体权衡。
- 原始内容:由于PostgreSQL页面的大小是固定的(通常是8KB),并且不
允许行跨越多个页面,因此不可能直接存储非常大的字段值……EXTENDED:
允许压缩和线外存储。这是大多数可以TOAST的数据类型默认的策略。