知识卡片
视图、联邦与虚拟化
视图:引用其他表的查询,查询视图时数据库把子查询与你的查询合并后整体优化。三种用途: 1. 安全:只暴露特定行列,按工作角色建不同视图; 2. 去重:在仅插入模式下只返回每条记录的最新版本; 3. 固化常见访问模式:把营销分析师常用的五表连接做成一个宽表视图。
物化视图:普通视图不做预计算,每次查询都要重跑五个连接;物化视图提前做部分或全部计算(如源表变化时保存五表连接结果),事实上是一个转换步骤,但由数据库更方便地管理。许多优化器能识别与物化视图相似的查询,即使查询没有直接引用它也会被改写为从预计算结果读取。一般物化视图不能组合(不能从另一个物化视图查询),但 Databricks 的实时表等开始支持,数据异步流向后续表。
联邦查询:OLAP 数据库直接查询外部数据源(对象存储、MySQL、PostgreSQL)并返回组合结果。例如 Snowflake 的 S3 外部表:建表时定义位置和格式,数据不导入,查询时读取,还能与内部表连接,使数仓更兼容数据湖。有些系统能把联邦查询变成物化视图,外部数据变化时主动更新。
数据虚拟化:不在内部存储数据的处理和查询系统,如 Trino(Starburst)、Presto。关键考量是外部数据源支持和性能。查询下推把尽可能多的工作(如过滤)推到源数据库:减少虚拟化层计算、利用源系统性能,并减少网络传输量。
不要滥用:虚拟化生产 MySQL 并不能解决分析查询影响生产系统的核心问题,因为 Trino 每次查询都会从 MySQL 拉数。更好的用法是让 Trino 在低负载的午夜每天抽取一次存到 S3 供下游使用。虚拟化也可作为去除数据孤岛、支撑数据网格共享的访问层。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
例如,虚拟化一个生产型MySQL数据库并不能解决分析查询对生产系统产生不利影响的核心问题,因为Trino并不在内部存储数据,它每次运行查询时都会从MySQL中拉取数据。