知识卡片
清理死记录与结果缓存
清理(vacuum):更新、删除、索引等操作会创建新记录并保留旧记录作为最后状态的指针,这些旧记录逐渐积累且不再需要,应清理掉。三个理由: 1. 释放空间,减少表膨胀,加快查询; 2. 过时记录会让优化器生成次优、不准确的执行计划,清理后计划更准确; 3. 清理低效索引,提升索引性能。
不同数据库的处理: - 对象存储支撑的库(BigQuery、Snowflake、Databricks):保留旧数据的唯一缺点是占存储、可能多花钱。Snowflake 不能主动清理,但可通过“时间旅行”参数控制快照保留时长;BigQuery 固定 7 天历史窗口;Databricks 通常无限期保留直到手动清理,清理对控制 S3 成本很重要; - Redshift:VACUUM 在后台自动运行,也可手动执行调优; - PostgreSQL、MySQL:清理非常关键,大量事务操作会让死记录快速积累。
缓存查询结果:在按查询量收费的数据库上反复跑一个计算密集查询,每次都要付费。许多云 OLAP 会缓存结果:首次(冷)查询要 40 秒,重跑可能 1 秒以内返回。尽量利用查询结果缓存减轻数据库压力、改善常用查询的体验;物化视图是另一种形式的查询缓存。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
其次,经过清理后的记录意味着查询计划可以更准确,过时的记录会导致查询优化器产生次优和不准确的执行计划。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.4 优化查询性能(清理“死”记录;利用缓存查询结果)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.1.4节说明清理死记录在空间、执行计划准确性和索引性能上的作用及各数据库的差异,并介绍利用查询结果缓存降低成本与延迟。
- 原始内容:其次,经过清理后的记录意味着查询计划可以更准确,过时的记录会导致查询优化器产生次优和不准确的执行计划。