知识卡片
业务逻辑与度量层
转换最常见的用例之一是把业务逻辑翻译成代码。
利润计算的例子:公司有多种利润口径。 - 营销成本前利润:要去掉欺诈订单。计算前一个工作日的合理利润时,要估计反欺诈团队调查可疑订单后,未来几天会取消多大比例的收入和利润。数据库里有没有高欺诈概率或已自动取消的标志?风险评估完成前,企业是否假设一定比例的订单会被取消? - 营销成本后利润:在上述复杂性之外,还要把营销成本归因到具体订单——按价格加权分摊?按部门或品类?还是按用户点击的单个商品广告?归因数据存在 ETL 脚本里,还是从广告平台自动生成的表中拉取?
这类报表数据是衍生数据(由系统中其他数据计算而来)的典型。批评:ETL 难以保持衍生指标一致——公司一旦更新归因模型,就要改动许多报表 ETL 脚本(ETL 脚本因违反 DRY 而臭名昭著),改动劳动密集、需要领域知识,还要验证一致性和准确性。
作者的看法:批评合理但不够建设性,因为替代方案同样不完美——如果利润数据和计算逻辑不在数仓里,分析师就得在自己的报告查询中实现;让分析师持续更新所有报告查询几乎不可能。
有趣的替代:度量层。把业务逻辑编码进度量层,分析师和仪表板用户从定义好的度量库构建分析;度量层生成查询发送给数仓,计算繁重的工作仍由数仓完成(第 9 章详述语义层和度量层)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
一个有趣的替代方案是将业务逻辑推入度量层
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(业务逻辑和衍生数据)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.3.1节以营销成本前后利润为例说明把业务逻辑翻译成转换代码的复杂性,讨论衍生数据在ETL中难以保持一致的批评与替代方案的不足,并提出度量层方案。
- 原始内容:一个有趣的替代方案是将业务逻辑推入度量层