知识卡片
COPY的事务性保证,与pg_bulkload用持久性换速度
COPY命令把数据从文件批量导入表时,遵循与普通SQL语句相同的[[事务的ACID四属性:以转账为例|事务原子性]]保证:一旦在导入过程中遇到第一个错误,整个操作会停在那里,错误发生之前”看似已插入”的行实际上是不可见、不可访问的——因为整个COPY是一个事务,没有提交就不会有任何一行真正生效;但这些半途而废的数据仍会占用磁盘空间,需要后续[[MVCC死元组与清空的锁级别差异|VACUUM]]去清理。这意味着导入成千上万条记录时,如果错误出现在最后几条,前面已经”处理”过的数据在磁盘层面留下的痕迹并不会自动消失,最稳妥的做法是提前保证源数据本身是干净、格式正确的。pg_bulkload提供了另一种权衡:它的核心优势是速度,做法是让加载过程直接跳过共享缓冲区和WAL的写入——这意味着一旦加载中途出错,不能像普通事务那样简单回滚,而需要走一个独立的恢复流程;作为交换,pg_bulkload允许配置”跳过出错记录、继续加载”而不是像COPY那样一遇错误就整体停止,出错的记录会被单独写入一个坏数据文件供事后排查。可迁移启发:选择用COPY还是pg_bulkload做批量导入,本质是在”要不要事务原子性保证”和”要不要极限导入速度”之间做取舍——需要保证”全部成功或全部不生效”这种强一致性时用COPY;能接受”部分记录导入失败但整体继续、失败记录单独兜底处理”、且更看重吞吐量时才考虑pg_bulkload,而不能把二者当成纯粹的性能高低之分来选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用》第9章《PostgreSQL写入与读取数据工具》之"9.2 COPY命令"与"9.3 使用pg_bulkload快速加载"(源文件:_epub-src/OEBPS/text00104.html-text00105.html)
- 结论依据:原文说明"它会停在出现的第一个错误处,在错误发生之前插入的行将是不可见的或不可访问的……该表将占用磁盘上的空间,并且这些数据将无法访问……pg_bulkload最大的优势是速度。这个实用程序可以让我们跳过共享缓冲区和WAL记录。这也意味着如果出现错误,它是一个单独的恢复过程", 直接支撑本卡关于COPY事务性保证与pg_bulkload速度换持久性权衡的结论。
- 原始内容:如果我们想继续加载过程而忽略错误,我们可以使用pg_bulkload工具。