返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 2280.j.12.a

视图、联邦与虚拟化

理解等级:高级

视图:引用其他表的查询,查询视图时数据库把子查询与你的查询合并后整体优化。三种用途: 1. 安全:只暴露特定行列,按工作角色建不同视图; 2. 去重:在仅插入模式下只返回每条记录的最新版本; 3. 固化常见访问模式:把营销分析师常用的五表连接做成一个宽表视图。

物化视图:普通视图不做预计算,每次查询都要重跑五个连接;物化视图提前做部分或全部计算(如源表变化时保存五表连接结果),事实上是一个转换步骤,但由数据库更方便地管理。许多优化器能识别与物化视图相似的查询,即使查询没有直接引用它也会被改写为从预计算结果读取。一般物化视图不能组合(不能从另一个物化视图查询),但 Databricks 的实时表等开始支持,数据异步流向后续表。

联邦查询:OLAP 数据库直接查询外部数据源(对象存储、MySQL、PostgreSQL)并返回组合结果。例如 Snowflake 的 S3 外部表:建表时定义位置和格式,数据不导入,查询时读取,还能与内部表连接,使数仓更兼容数据湖。有些系统能把联邦查询变成物化视图,外部数据变化时主动更新。

数据虚拟化:不在内部存储数据的处理和查询系统,如 Trino(Starburst)、Presto。关键考量是外部数据源支持和性能。查询下推把尽可能多的工作(如过滤)推到源数据库:减少虚拟化层计算、利用源系统性能,并减少网络传输量。

不要滥用:虚拟化生产 MySQL 并不能解决分析查询影响生产系统的核心问题,因为 Trino 每次查询都会从 MySQL 拉数。更好的用法是让 Trino 在低负载的午夜每天抽取一次存到 S3 供下游使用。虚拟化也可作为去除数据孤岛、支撑数据网格共享的访问层。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 查询、建模和转换 · 查看原书依据

      例如,虚拟化一个生产型MySQL数据库并不能解决分析查询对生产系统产生不利影响的核心问题,因为Trino并不在内部存储数据,它每次运行查询时都会从MySQL中拉取数据。

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.2 物化视图、联邦查询和数据虚拟化(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.2节介绍视图的三种用途、物化视图的预计算与查询改写、可组合物化视图、联邦查询与外部表、数据虚拟化与查询下推,并警示虚拟化不能解决分析查询冲击生产库的问题。 - 原始内容:例如,虚拟化一个生产型MySQL数据库并不能解决分析查询对生产系统产生不利影响的核心问题,因为Trino并不在内部存储数据,它每次运行查询时都会从MySQL中拉取数据。