知识卡片
转换是持久化的查询
为什么需要转换:设想一个涉及 20 个数据集的解析、清洗、连接、联合和聚合的查询,每次要跑 30 分钟、消耗大量资源,每天还要跑几十上百次,云账单惊人。更好的做法是保存查询结果,或至少只运行一次最密集的计算部分,简化后续查询。
转换与查询的区别: - 持久性:查询根据过滤和连接逻辑从各种来源检索数据;转换把结果持久化(短暂或永久),供其他转换或查询使用; - 复杂性:转换常构成复杂管道,结合多源数据,并为多个最终输出复用中间结果,可能对数据做范式化、建模、聚合或特征提取。虽然可以在单个查询里用表达式、脚本或 DAG 建复杂数据流,但很快会变得不方便、不一致、难维护——这时应考虑转换。
转换高度依赖编排:编排整合众多分散操作(如临时或永久存储数据的中间转换),供下游转换或服务使用;越来越多的转换不仅跨越多个表和数据集,还跨越多个系统。
Bill Inmon 的话概括了转换的价值:数据转换的净收益是统一和整合数据的能力,不转换就无法在整个组织内对数据有统一的看法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
转换将结果持久化,供其他转换或查询使用。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3 转换(导语)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.3节导语以重复运行的30分钟复杂查询说明转换的必要性,从持久性和复杂性区分转换与查询,并指出转换依赖编排、常跨多个系统。
- 原始内容:转换将结果持久化,供其他转换或查询使用。