知识卡片
仓、湖、湖仓与平台
选择存储抽象的考虑:目的和用例;更新模式(批量更新、流式插入还是 upsert);成本(直接、间接、实现价值的时间、机会成本);存储与计算是否分离。随着存算分离流行,OLAP 数据库与数据湖的界限越来越模糊,未来差异可能只是名义上的。
数据仓库:标准 OLAP 架构,从事务库、行式 MPP、列式 MPP 演进到云数仓和数据平台。云数仓能处理大量原始文本和复杂 JSON,但不能处理图像、视频、音频等真正非结构化数据,可与对象存储结合构成完整数据湖。
数据湖:最初是以原始形式保留数据的大规模存储,建在 Hadoop 上。近五年两大进展:从 Hadoop 转向云对象存储(存算分离);工程师发现被匆忙放弃的 MPP 功能(模式管理、更新、合并、删除)其实很有用——催生了湖仓一体。
湖仓一体:数据存在对象存储中,加上元数据和文件管理层,提供强表和模式支持、增量更新与删除、表历史与回滚(保留旧版本文件和元数据)。Delta Lake 推动了这一概念,Hudi、Iceberg 是竞争者。BigQuery、Snowflake 的架构与之相似。相对专有工具的关键优势是互操作性:开放文件格式让各种工具直接连接元数据层、从对象存储读数,免去重新序列化的开销;也可以只在需要的地方强加表结构。
数据平台:供应商围绕核心存储层构建可互操作工具生态,概念尚未充实,同时也在制造供应商锁定。
流到批处理存储架构:流经主题的数据被多个消费者写出——实时系统生成统计,批处理消费者(如 Kinesis Firehose 按时间和批量大小生成 S3 对象)负责长期保留;BigQuery 的流式缓冲区自动重新序列化为列式存储,查询可无缝覆盖两者。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
与专有工具相比,数据湖仓一体的关键优势是互操作性。