知识卡片

结构图卡 · 1773.c.1.b

ORC/Parquet/CarbonData三种列存储格式的设计特色对比

理解等级:未标注

三种主流列式存储格式都在[[行式存储与列式存储的读写权衡]]的基础上,各自围绕不同的核心诉求做了取舍,都采用了”大单元切分+内部再按列组织+多级索引跳过无关数据”的共同骨架,但侧重点不同。ORC诞生于Hive内部,为了提升Hive处理效率而生,把文件切成约250MB的stripe(一个stripe可由一个任务独立处理),每个stripe内再分索引域/数据域/尾部域三部分,并提供file/stripe/row三级索引——配合列式存储,可以在跳过整个stripe甚至跳过stripe内某些行组的前提下完成查询过滤;它还在”base file+delta file”模型上支持了ACID(但明确不是为高频小事务的OLTP场景设计,而是为”一个事务更新百万级记录”这种批量更新场景设计)。Parquet诞生于Twitter,为解决其内部87列、嵌套7层的复杂日志数据的存储问题而生,设计灵感直接来自Google Dremel的列式存储论文,核心目标是”支持复杂嵌套类型+能被尽可能多的计算框架和序列化框架适配”,因此把项目拆成存储格式(parquet-format)、对象模型转换器(parquet-mr,兼容Hive/Pig/MapReduce/Thrift/Protobuf/Avro等)、对象模型三层,比ORC更强调跨生态系统的通用适配能力,内部按Row Group→Column Chunk→Page三级组织数据。CarbonData是华为开源的格式,定位是解决”同一份数据要同时支持任意维度过滤查询、快速扫描、详单查询等多种OLAP场景”,因此额外引入了全局字典编码(把字符串映射成整数以加速处理和省空间)、多维主键与倒排索引,并明确支持批量更新和删除以适配OLAP场景的数据修正需求。可迁移启发:三者没有绝对优劣,而是分别绑定了各自最初要解决的核心问题——ORC绑定Hive批处理场景、Parquet绑定”最大化跨框架通用性”、CarbonData绑定”多维OLAP查询灵活性”,选型时应该先明确自己最看重哪个诉求,而非只比较某一项压缩比数字。

结构图:

flowchart TB
  A["列式存储三巨头<br/>共同骨架:大单元切分+列组织+多级索引"]
  A --> O["ORC(源自Hive)<br/>stripe约250MB,file/stripe/row三级索引<br/>支持ACID(批量更新,非OLTP)"]
  A --> P["Parquet(源自Twitter/Dremel)<br/>RowGroup→ColumnChunk→Page<br/>强调跨框架/序列化生态通用适配"]
  A --> C["CarbonData(华为开源)<br/>Blocklet→ColumnChunk→Page<br/>全局字典编码+多维索引,面向OLAP灵活查询"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第5章《数据序列化与文件存储格式》之"5.3.3 列式存储格式ORC、Parquet与CarbonData"(源文件:_epub-src/OEBPS/text00037.html) - 结论依据:原文说明"ORC是专为Hadoop设计的自描述的列式存储格式(Apache Hive 0.11版本引入)……但需要注意的是,Hive ORC ACID并不是为OLTP场景设计的……Parquet是由Twitter实现并开源的,解决Twitter内部日益增长的数据存储和处理问题……日志的schema有87列,嵌套了7层……灵感源于Google Dremel的列式存储格式……CarbonData……提供了一种新的融合数据存储方案,以一份数据同时支持'任意维度组合的过滤查询、快速扫描、详单查询等'多种应用场景……实现了字符串的全局字典编码", 直接支撑本卡三种格式设计特色的对比结论。 - 原始内容:一般而言,ORC通常作为数据表的数据格式应用在Hive和Presto等计算引擎中……而Parquet提供了非常易用的读写API,用户可在应用程序(比如Spark或MapReduce等分布式程序)中直接读写Parquet格式的文件;而CarbonData在索引和数据更新等方面有良好的支持,可用在多维OLAP分析等场景中。