知识卡片

普通读书笔记卡 · 2280.h.1.a.13.j

转换是持久化的查询

理解等级:初级

为什么需要转换:设想一个涉及 20 个数据集的解析、清洗、连接、联合和聚合的查询,每次要跑 30 分钟、消耗大量资源,每天还要跑几十上百次,云账单惊人。更好的做法是保存查询结果,或至少只运行一次最密集的计算部分,简化后续查询。

转换与查询的区别: - 持久性:查询根据过滤和连接逻辑从各种来源检索数据;转换把结果持久化(短暂或永久),供其他转换或查询使用; - 复杂性:转换常构成复杂管道,结合多源数据,并为多个最终输出复用中间结果,可能对数据做范式化、建模、聚合或特征提取。虽然可以在单个查询里用表达式、脚本或 DAG 建复杂数据流,但很快会变得不方便、不一致、难维护——这时应考虑转换。

转换高度依赖编排:编排整合众多分散操作(如临时或永久存储数据的中间转换),供下游转换或服务使用;越来越多的转换不仅跨越多个表和数据集,还跨越多个系统。

Bill Inmon 的话概括了转换的价值:数据转换的净收益是统一和整合数据的能力,不转换就无法在整个组织内对数据有统一的看法。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3 转换(导语)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3节导语以重复运行的30分钟复杂查询说明转换的必要性,从持久性和复杂性区分转换与查询,并指出转换依赖编排、常跨多个系统。 - 原始内容:转换将结果持久化,供其他转换或查询使用。