知识卡片
列式序列化与Parquet
列序列化:每列数据分到多个文件中。优势: - 只读取字段子集而非整行,大大减少查询需扫描的数据量,分析应用常用; - 相似值聚在一起,压缩效率高——常见技术是标记重复值;即使没有大量重复值也可能高度冗余,比如客户支持消息列中反复出现相同的主题和措辞,同样能高压缩率。因此列存储通常与压缩结合,最大化利用磁盘和网络带宽。
弊端: - 不能直接访问单条记录,要读取多个列文件重建; - 更新难:改一个字段要解压列文件、修改、重新压缩写回。通常用分区和聚类策略把列拆成许多文件,但更新单行的开销仍然非常可怕——列式库不适合事务负载,事务库通常用行或记录式存储。
Parquet:为数据湖环境的出色读写性能而设计,解决了常困扰工程师的问题——与 CSV 不同,内建模式信息,原生支持嵌套数据,可移植性好。BigQuery、Snowflake 以专有列格式序列化,内部查询性能很好,但与外部工具互操作时性能大降,因为要反序列化再重新序列化成可交换格式才能被 Spark、Presto 使用。在多种工具混用的情况下,数据湖中的 Parquet 一般优于专有云数仓。常搭配 Snappy 等速度优化型压缩。
ORC:类似 Parquet 的列格式,在 Hive 场景中流行,但使用远少于 Parquet,现代云工具支持较少——Snowflake 和 BigQuery 能读 ORC,但都不能导出 ORC。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 附录A 序列化和压缩技术的细节 · 查看原书依据
数据湖中的Parquet文件在多种工具混杂的情况下一般会优于专有云数据仓库。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第12章《附录A 序列化和压缩技术的细节》A.1.2 列序列化(Parquet;ORC)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0019.xhtml,来源项目 book-sources)
- 结论依据:A.1.2节说明列序列化减少扫描量、提高压缩率的优势与单条访问、更新代价高的弊端,介绍Parquet内建模式、支持嵌套和跨工具互操作的优势,以及ORC的现状。
- 原始内容:数据湖中的Parquet文件在多种工具混杂的情况下一般会优于专有云数据仓库。