知识卡片

普通读书笔记卡 · 2280.h.1.a.13.d

清理死记录与结果缓存

理解等级:中级

清理(vacuum):更新、删除、索引等操作会创建新记录并保留旧记录作为最后状态的指针,这些旧记录逐渐积累且不再需要,应清理掉。三个理由: 1. 释放空间,减少表膨胀,加快查询; 2. 过时记录会让优化器生成次优、不准确的执行计划,清理后计划更准确; 3. 清理低效索引,提升索引性能。

不同数据库的处理: - 对象存储支撑的库(BigQuery、Snowflake、Databricks):保留旧数据的唯一缺点是占存储、可能多花钱。Snowflake 不能主动清理,但可通过“时间旅行”参数控制快照保留时长;BigQuery 固定 7 天历史窗口;Databricks 通常无限期保留直到手动清理,清理对控制 S3 成本很重要; - Redshift:VACUUM 在后台自动运行,也可手动执行调优; - PostgreSQL、MySQL:清理非常关键,大量事务操作会让死记录快速积累。

缓存查询结果:在按查询量收费的数据库上反复跑一个计算密集查询,每次都要付费。许多云 OLAP 会缓存结果:首次(冷)查询要 40 秒,重跑可能 1 秒以内返回。尽量利用查询结果缓存减轻数据库压力、改善常用查询的体验;物化视图是另一种形式的查询缓存。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.4 优化查询性能(清理“死”记录;利用缓存查询结果)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.1.4节说明清理死记录在空间、执行计划准确性和索引性能上的作用及各数据库的差异,并介绍利用查询结果缓存降低成本与延迟。 - 原始内容:其次,经过清理后的记录意味着查询计划可以更准确,过时的记录会导致查询优化器产生次优和不准确的执行计划。