知识卡片
Arrow与混合序列化
Apache Arrow:内存中的序列化。软件中的数据可以是由指针连接的复杂对象,也可以是 C/Fortran 数组那样密集的结构;密集结构一般仅限于简单类型或固定宽度类型,JSON 这类复杂结构不能密集存储,必须序列化后才能存储和传输。Arrow 的思想是设计一种既适合内存处理、又适合系统间传输的二进制格式——内存处理、网络传输、长期存储用同一种格式,省去序列化和反序列化开销。 - 列存储,每列有自己的内存块;嵌套数据用粉碎(shredding)技术,把 JSON 模式中的每个位置映射成单独的列; - 文件可存盘并通过虚拟内存直接换入程序地址空间查询,扫描时写入部分、用后移出,避免大数据集耗尽内存; - 不同语言序列化方式不同,Arrow 为 C、Go、Java、JavaScript、MATLAB、Python、R、Rust 等提供库,实现跨语言零额外序列化互通(如 Scala 用 Java 库写 Arrow 数据,作为消息传给 Python); - 已被 Spark 等迅速吸收,Dremio 是基于 Arrow 的查询引擎和数据仓库。
混合序列化:结合多种序列化技术,或叠加数据定义管理等抽象层。 - Hudi(Hadoop Update Delete Incremental):让分析查询拥有列式性能,同时支持原子、事务性的记录更新。常用于从事务库 CDC 流获取更新的表:新内容写入行序列化文件,表的大部分为列存储,查询同时读两者返回当前状态,并定期把行文件和列文件重新打包成最新列文件; - Iceberg:追踪构成表的所有文件和各时期快照,可在数据湖中恢复多个时间点的表,支持模式演化,能管理 PB 级表。
数据库存储引擎:独立于查询引擎的软件层,管理序列化方式、最底层数据排布和索引。MySQL 存储引擎完全可插拔,SQL Server 可配置行存/列存,BigQuery、Snowflake 不对外暴露。现代引擎针对 SSD 优化,支持变长字符串、数组、嵌套数据,并发展出服务分析的列存储(SQL Server、PostgreSQL、MySQL 都有强大支持)。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 附录A 序列化和压缩技术的细节 · 查看原书依据
Apache Arrow(https://arrow.apache.org)的思想是利用二进制数据格式来重新设计序列化,这种格式既适合在内存中处理,也适合在系统间传输