返回主题:湖仓平台与开放表格式

知识卡片

普通读书笔记卡 · 2275.as.6.g.1.e

文件格式按负载组合

理解等级:高级

分析时只取少数列,优先测试 Parquet 或 ORC;频繁接收整条记录并需兼容模式变化,可测试 Avro。压缩比、扫描量与写入代价受数据和引擎影响,应以自身负载验证,不能照搬书中的单次基准比例。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html) - 结论依据:原文比较三种格式的行列布局、压缩、扫描与 ETL/分析用途,同时说明压缩数字来自单次 EMR 测试。 - 原始内容:Being columnar, Parquet and ORC are better suited for analytics workloads where only a few columns are retrieved. File format layout Parquet and ORC follow the columnar format for storing data but have different approaches to implementation. While Parquet stores data as pages, ORC stores data as stripes. Avro follows the row-based approach and stores