知识卡片
度量层回答数字对吗
引擎再强也不能保证高质量分析:数据工程师设计服务时常先考虑处理和存储技术(Spark 还是云数仓?对象存储还是 SSD 缓存?)。但输入低质量数据或查询时,强大的查询引擎只会快速返回不准确的结果。
好的数据质量依赖数据自身特征及过滤改进不良数据的技术;高质量查询是具有适当逻辑、能准确回答业务问题的查询。构建高质量 ETL 查询和报告费时费心,许多工具可以自动化这一过程,同时促进一致性、可维护性和持续改进。
度量层本质上是维护和计算业务逻辑的工具(语义层概念上极为相似,无头 BI 是密切相关的术语),可以存在于 BI 工具中,也可以存在于构建转换查询的软件中: - Looker(LookML):用户定义虚拟的复杂业务逻辑和标准指标,在许多下游查询中引用,解决了传统 ETL 脚本中重复和不一致的老问题;LookML 生成 SQL 在数据库中运行,结果保存在 Looker 服务器或(大数据集时)数据库中; - dbt:定义包含许多查询和标准业务指标定义的复杂 SQL 数据流,只在转换层运行,但可把查询推送到查询时计算的视图中。Looker 侧重查询和报告,dbt 是为分析工程师打造的管道编排工具。
度量层工具将越来越受欢迎,它有助于解决自有数据分析以来一直困扰组织的核心问题:“这些数字对吗?”
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
当输入低质量的数据或查询时,强大的查询引擎只会快速返回不准确的结果。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.5.6 语义和度量层(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources)
- 结论依据:9.5.6节指出强大的引擎不能替代高质量数据与查询,介绍度量层/语义层的概念及Looker LookML与dbt的做法和差异,说明其解决指标重复与不一致的问题。
- 原始内容:当输入低质量的数据或查询时,强大的查询引擎只会快速返回不准确的结果。