知识卡片

普通读书笔记卡 · 499.g.1

流批一体与Kappa架构

理解等级:中级

单纯的流计算或批计算都不能满足越来越大的数据量,而两者使用不同框架又要求企业具备多套处理架构、投入更多人力。流批一体要求计算引擎同时具备流计算的低延迟和批计算的高吞吐、高稳定,用同一套编程接口实现两种计算并保证执行逻辑一致。它体现在四个统一:

  1. 统一元数据:批和流面对的数据对象元数据一致;
  2. 统一数据存储:一套存储统一对象存储、文件存储,并提供多种协议;
  3. 统一计算引擎:同一种逻辑或代码覆盖离线与实时,避免在多个引擎间切换;
  4. 统一语义:统一 SQL 或 SDK 开发、基于业务或逻辑模型的低代码开发、统一的特征开发过程。

流批一体理念提出后,Kappa 架构走入主流:用消息队列缓存数据,结果写入键值库(HBase、Elasticsearch)或 OLAP 数据库,开发者只写一套处理逻辑,保证数据一致并降低资源与维护成本。随着数据湖发展,Flink + 数据湖的 Kappa 架构成为流批一体实时数仓的主流:用 Flink CDC 把全量与增量原始数据写入 ODS 层,统一存储在数据湖,再用 Flink 一套代码完成分层分域计算;部分湖格式(如 Iceberg)还能直接对接 Presto/Trino 支持实时即席分析。

实时数仓与传统 T+1 数仓不同,是分钟级甚至秒级的方案,要让数据全实时流动而不是以微批方式流动;Flink CDC 可先处理全量历史数据再无缝衔接增量,并通过检查点断点续传。数据湖进一步把数仓的结构与管理功能和数据湖的低成本、灵活性结合,解决 upsert、ACID 事务、存算分离和元数据管理问题,原始、清洗和模型化数据共存于“湖仓一体”底座中,避免湖与仓之间的数据移动。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 数据开发:数据价值提炼工厂 · 查看原书依据

      Kappa架构将流批整合,通过消息队列来进行数据缓存,将结果数据存储到键值数据库(HBase/Elasticsearch)或OLAP数据库中,供业务方实时访问分析(见图5-4)。数据开发工作者只需编写一套处理逻辑,即可保证数据的一致性,同时相对降低资源消耗和维护成本。

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.1.3 流批一体;5.3 实时开发(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0026.xhtml,来源项目 book-sources) - 结论依据:5.1.3节给出流批一体的四个统一、Kappa架构以及Flink+数据湖的Kappa架构;5.3节说明实时数仓与T+1数仓的区别、Flink CDC全量衔接增量和断点续传,以及湖仓一体解决的问题。 - 原始内容:Kappa架构将流批整合,通过消息队列来进行数据缓存,将结果数据存储到键值数据库(HBase/Elasticsearch)或OLAP数据库中,供业务方实时访问分析(见图5-4)。数据开发工作者只需编写一套处理逻辑,即可保证数据的一致性,同时相对降低资源消耗和维护成本。