返回主题:文本压缩与熵编码

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2280.h.1.a.17

行式序列化格式取舍

理解等级:中级

序列化格式影响巨大:仅仅从 CSV 转为 Parquet,任务性能就提高了上百倍。数据在管道中流转时常被再序列化;遇到过时难用的格式,工程师要设计反序列化和异常处理流程,再清理转换以便下游一致、快速地消费。

基于行的格式(半结构化数据中每个对象作为一个单元存储):

格式 特点 建议
CSV “不是标准的标准”,本质是分隔符文本的总称,转义、引号、分隔符各不相同 避免在管道中使用——非常容易出错且性能差;与控制之外的系统交换时不得不用;用于归档时附带序列化配置的完整技术描述
XML 互联网兴起时流行,如今已是“祖传格式”,序列化/反序列化慢 与传统系统交换时处理;纯文本对象序列化已基本被 JSON 取代
JSON / JSONL API 数据交换的新标准,Snowflake、BigQuery、SQL Server 原生支持;JSONL 以换行分隔一系列 JSON 对象,存批量半结构化数据 JSONL 很适合从 API 或应用获取数据后立即存储,但中间管道阶段和服务应转向性能更好的列格式
Avro 面向行,用于 RPC 和数据序列化,数据为二进制编码、模式元数据为 JSON Hadoop 生态流行,多种云数据工具支持
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第12章《附录A 序列化和压缩技术的细节》附录A导语;A.1 序列化格式;A.1.1 基于行的序列化(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0019.xhtml,来源项目 book-sources) - 结论依据:附录A导语与A.1节说明序列化格式对性能的巨大影响;A.1.1节对比CSV、XML、JSON/JSONL、Avro四种行式格式的特点与使用建议。 - 原始内容:数据工程师应该避免在管道中使用CSV文件,因为它们非常容易出错,而且性能很差。