← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.17.a

Arrow与混合序列化

理解等级:高级

Apache Arrow:内存中的序列化。软件中的数据可以是由指针连接的复杂对象,也可以是 C/Fortran 数组那样密集的结构;密集结构一般仅限于简单类型或固定宽度类型,JSON 这类复杂结构不能密集存储,必须序列化后才能存储和传输。Arrow 的思想是设计一种既适合内存处理、又适合系统间传输的二进制格式——内存处理、网络传输、长期存储用同一种格式,省去序列化和反序列化开销。 - 列存储,每列有自己的内存块;嵌套数据用粉碎(shredding)技术,把 JSON 模式中的每个位置映射成单独的列; - 文件可存盘并通过虚拟内存直接换入程序地址空间查询,扫描时写入部分、用后移出,避免大数据集耗尽内存; - 不同语言序列化方式不同,Arrow 为 C、Go、Java、JavaScript、MATLAB、Python、R、Rust 等提供库,实现跨语言零额外序列化互通(如 Scala 用 Java 库写 Arrow 数据,作为消息传给 Python); - 已被 Spark 等迅速吸收,Dremio 是基于 Arrow 的查询引擎和数据仓库。

混合序列化:结合多种序列化技术,或叠加数据定义管理等抽象层。 - Hudi(Hadoop Update Delete Incremental):让分析查询拥有列式性能,同时支持原子、事务性的记录更新。常用于从事务库 CDC 流获取更新的表:新内容写入行序列化文件,表的大部分为列存储,查询同时读两者返回当前状态,并定期把行文件和列文件重新打包成最新列文件; - Iceberg:追踪构成表的所有文件和各时期快照,可在数据湖中恢复多个时间点的表,支持模式演化,能管理 PB 级表。

数据库存储引擎:独立于查询引擎的软件层,管理序列化方式、最底层数据排布和索引。MySQL 存储引擎完全可插拔,SQL Server 可配置行存/列存,BigQuery、Snowflake 不对外暴露。现代引擎针对 SSD 优化,支持变长字符串、数组、嵌套数据,并发展出服务分析的列存储(SQL Server、PostgreSQL、MySQL 都有强大支持)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第12章《附录A 序列化和压缩技术的细节》A.1.2 列序列化(Apache Arrow或者内存中的序列化);A.1.3 混合序列化;A.2 数据库存储引擎(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0019.xhtml,来源项目 book-sources) - 结论依据:A.1.2节介绍Arrow统一内存、传输和存储格式、粉碎嵌套数据及跨语言库;A.1.3节说明Hudi行列混合存储与重新打包、Iceberg快照与模式演化;A.2节介绍存储引擎的职责与发展。 - 原始内容:Apache Arrow(https://arrow.apache.org)的思想是利用二进制数据格式来重新设计序列化,这种格式既适合在内存中处理,也适合在系统间传输