← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1905.a.2.g

应用层:一份数据多套存储

理解等级:中级

统一数仓层和标签层相对稳定,但最终用户的需求和使用方式千变万化,并且要求灵活和高性能;规范建模会把数据按域、业务过程、维度、粒度拆开,使用时需要各种连接。为解决“规范稳定”与“灵活高性能”之间的矛盾,增加应用数据层。

定位:按业务需要组织已加工好的数据,并加工少量面向业务的个性化指标。一般也用维度建模,但会做反规范化,没有非常严格的规范。它类似传统数据集市,但更轻量、更灵活:不为某个业务独立构建,而是从企业多个类似场景考虑,构建在数仓层和标签层之上,尽量复用二者成果。

强业务驱动:业务专家把需求告诉数据工程师,在建模过程中深入沟通,必要时业务系统研发人员也要参与。表结构取决于场景:多维即席分析用大宽表减少连接;特定指标查询用 K-V 表(要了解是否有模糊查询等细节);一次查多种信息可用复杂数据结构。

建设步骤:调研数据内容、交互方式、响应速度和吞吐要求 → 盘点数仓层和标签层能否满足,不满足再做个性化加工 → 按性能和使用方式组装数据。

一份数据多套存储:数据由工程师在平台上分布式离线加工,结果存在分布式文件中,无法满足毫秒级响应。因此应用层结果要按场景同步到不同存储:交叉分析同步到 Greenplum、Impala 等高吞吐低延迟的即席分析环境;指标查询同步到 HBase 等 K-V 数据库。数据应用已不限于 BI 报表,还包括推荐、搜索优化、客户信息查询等,模型设计要同时考虑业务需要和技术环境。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.5 应用数据层建设(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0035.xhtml,来源项目 book-sources) - 结论依据:6.5节说明应用数据层用于解决规范稳定与灵活高性能的矛盾,比较其与数据集市,介绍强业务驱动的表设计、大宽表/K-V/复杂结构三种形式、三步建设过程,以及把结果同步到即席分析环境和K-V数据库的一套数据多套存储做法。 - 原始内容:为了解决规范稳定与灵活、高性能之间的矛盾,要增加应用数据层。