← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1905.a.2.a

贴源数据表的设计规范

理解等级:初级

贴源数据层是全企业数据的集中存储处,不只是业务库数据,还包括业务和机器日志、爬虫等外部数据,目标是在中台能查询到所有企业数据。

为什么用 ELT 而不是传统 ETL:传统数仓在抽取装载过程中清洗转换,规则复杂时耗费大量计算资源,且转换出错时因没有保留原始数据而无法追溯。数据中台把所有原始数据先抽取到贴源层,再在中台内部用大数据平台算力转换:抽取简单、保留原始数据便于追溯、充分利用大数据计算能力。注意贴源层虽也叫 ODS,但不具备传统 ODS 系统的数据交换、实时性、报表功能。

三类数据的处理:结构化数据直接从业务库抽取;半结构化(日志等)保留原文的同时通常做结构化处理;非结构化(图片、音视频)体积大、价值难以定性,只保留地址、名称、类型、分辨率等描述,价值在应用中再挖掘。

表设计规范:

  • 命名用“前缀+业务系统表名”,如 ODS_系统简称_业务系统表名,既保持一致又分层并区分来源;
  • 字段名与业务系统一致,此层不做字段命名归一;类型尽量一致,无对应类型时用兼容类型(如 float 用 double 代替);
  • 大表增量同步时同时建增量表(后缀 _delta)和全量表,由加工任务合并生成全量;
  • 日志、文件等先按行存入文本大字段,再由解析任务写入结构化表。

实现步骤:确定源表与目标表 → 配置字段映射(可加采集日期、分区、源系统标识,业务内容不转换)→ 配置增量或条件 → 清理目标数据 → 启动同步 → 验证 → 发布并配置限速、容错、质量监控和告警。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第06章《第6章 数据体系建设》6.2 贴源数据层建设(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0032.xhtml,来源项目 book-sources) - 结论依据:6.2节说明贴源层的范围与目标,比较传统ETL与ELT,区分其与ODS系统,介绍三类数据的处理方式、表命名与字段规范、增量表与全量表、半结构化数据解析以及七步实现过程。 - 原始内容:这样既可让数据的抽取过程尽可能简单,又保留了所有的原始数据,以便于问题的追溯,还能充分利用大数据的计算能力。