← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2275.as.6.g.12

仓、湖、湖仓与平台

理解等级:中级

选择存储抽象的考虑:目的和用例;更新模式(批量更新、流式插入还是 upsert);成本(直接、间接、实现价值的时间、机会成本);存储与计算是否分离。随着存算分离流行,OLAP 数据库与数据湖的界限越来越模糊,未来差异可能只是名义上的。

数据仓库:标准 OLAP 架构,从事务库、行式 MPP、列式 MPP 演进到云数仓和数据平台。云数仓能处理大量原始文本和复杂 JSON,但不能处理图像、视频、音频等真正非结构化数据,可与对象存储结合构成完整数据湖。

数据湖:最初是以原始形式保留数据的大规模存储,建在 Hadoop 上。近五年两大进展:从 Hadoop 转向云对象存储(存算分离);工程师发现被匆忙放弃的 MPP 功能(模式管理、更新、合并、删除)其实很有用——催生了湖仓一体。

湖仓一体:数据存在对象存储中,加上元数据和文件管理层,提供强表和模式支持、增量更新与删除、表历史与回滚(保留旧版本文件和元数据)。Delta Lake 推动了这一概念,Hudi、Iceberg 是竞争者。BigQuery、Snowflake 的架构与之相似。相对专有工具的关键优势是互操作性:开放文件格式让各种工具直接连接元数据层、从对象存储读数,免去重新序列化的开销;也可以只在需要的地方强加表结构。

数据平台:供应商围绕核心存储层构建可互操作工具生态,概念尚未充实,同时也在制造供应商锁定。

流到批处理存储架构:流经主题的数据被多个消费者写出——实时系统生成统计,批处理消费者(如 Kinesis Firehose 按时间和批量大小生成 S3 对象)负责长期保留;BigQuery 的流式缓冲区自动重新序列化为列式存储,查询可无缝覆盖两者。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.3 数据工程存储抽象(6.3.1–6.3.5)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources) - 结论依据:6.3节给出选择存储抽象的考虑因素,介绍数据仓库、数据湖的演进、湖仓一体的能力与互操作性优势、数据平台的现状,以及流到批处理的存储架构。 - 原始内容:与专有工具相比,数据湖仓一体的关键优势是互操作性。