知识卡片

普通读书笔记卡 · 2275.as.6.e.2

采集汇聚交换与ELT

理解等级:中级

书中区分三种让数据流通的能力:

  • 数据采集:带有数据生产性质,把终端对象的业务过程信息用特定方法记录下来,经中间系统写入目标存储。
  • 数据汇聚(数据集成):把已存在的数据从一个数据源搬到另一个数据源的同步过程。
  • 数据交换:组织之间的数据供需。需求方只需与供给方约定数据格式、传输协议、计算方式、结算逻辑和交换时间,不关心数据源的位置、形态和结构,这是它与汇聚的最大区别。场景差异很大:集团与子公司内网定时报送通常只在协议层加密;若只为让预测模型更准,可通过联邦学习与供应方联合计算获得模型而不取得真实数据。企业间数据中台通过交换连接,就形成更广泛意义上的数据中台,也可能形成数据交易业态。

汇聚的模式分离线(大批量周期迁移,全量或增量读取)和实时(读取 redo log、binlog 等增量日志或消息,如 Flink CDC、Canal)。数据按组织形式分结构化、半结构化(JSON、XML)和非结构化(文档、图片、音视频)。

汇聚方法上作者明确倾向 ELT:ETL 在抽取时就清洗,只保留“当前认为有价值”的信息,可随着认知和技术进步,被清洗掉的数据可能后来变得有价值,需要重新处理甚至无法找回,这个代价比存储成本更大;ELT 先抽取加载、再用大数据和 AI 技术处理,在存储越来越便宜、数据量越来越大的今天是更好的选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 数据汇聚:打破企业数据孤岛 · 查看原书依据

      由于数据价值会随着我们对数据的认知以及数据智能相关技术的发展而不断被挖掘,因此ETL模式很容易出现一些有价值的数据被清洗掉,导致当某一天需要用这些数据时又需要重新处理,甚至数据丢失无法找回。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第04章《第4章 数据汇聚:打破企业数据孤岛》4.1.2 数据汇聚;4.1.3 数据交换(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0022.xhtml,来源项目 book-sources) - 结论依据:4.1.2节区分数据采集与数据汇聚,说明离线与实时模式、三类数据形态,并比较ETL与ELT,指出ETL可能清洗掉日后有价值的数据;4.1.3节说明数据交换与汇聚的区别及内网报送、联邦学习等场景。 - 原始内容:由于数据价值会随着我们对数据的认知以及数据智能相关技术的发展而不断被挖掘,因此ETL模式很容易出现一些有价值的数据被清洗掉,导致当某一天需要用这些数据时又需要重新处理,甚至数据丢失无法找回。