知识卡片
行式序列化格式取舍
序列化格式影响巨大:仅仅从 CSV 转为 Parquet,任务性能就提高了上百倍。数据在管道中流转时常被再序列化;遇到过时难用的格式,工程师要设计反序列化和异常处理流程,再清理转换以便下游一致、快速地消费。
基于行的格式(半结构化数据中每个对象作为一个单元存储):
| 格式 | 特点 | 建议 |
|---|---|---|
| CSV | “不是标准的标准”,本质是分隔符文本的总称,转义、引号、分隔符各不相同 | 避免在管道中使用——非常容易出错且性能差;与控制之外的系统交换时不得不用;用于归档时附带序列化配置的完整技术描述 |
| XML | 互联网兴起时流行,如今已是“祖传格式”,序列化/反序列化慢 | 与传统系统交换时处理;纯文本对象序列化已基本被 JSON 取代 |
| JSON / JSONL | API 数据交换的新标准,Snowflake、BigQuery、SQL Server 原生支持;JSONL 以换行分隔一系列 JSON 对象,存批量半结构化数据 | JSONL 很适合从 API 或应用获取数据后立即存储,但中间管道阶段和服务应转向性能更好的列格式 |
| Avro | 面向行,用于 RPC 和数据序列化,数据为二进制编码、模式元数据为 JSON | Hadoop 生态流行,多种云数据工具支持 |
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 附录A 序列化和压缩技术的细节 · 查看原书依据
数据工程师应该避免在管道中使用CSV文件,因为它们非常容易出错,而且性能很差。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第12章《附录A 序列化和压缩技术的细节》附录A导语;A.1 序列化格式;A.1.1 基于行的序列化(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0019.xhtml,来源项目 book-sources)
- 结论依据:附录A导语与A.1节说明序列化格式对性能的巨大影响;A.1.1节对比CSV、XML、JSON/JSONL、Avro四种行式格式的特点与使用建议。
- 原始内容:数据工程师应该避免在管道中使用CSV文件,因为它们非常容易出错,而且性能很差。