知识卡片

普通读书笔记卡 · 1773.d.3

Parquet分层定位列页

理解等级:中级

Parquet以Row Group分组,每列对应Column Chunk,再拆成编码压缩的Page;文件元数据描述位置与结构。Column Chunk在文件内连续,Row Group首先是逻辑横向分组,不保证与物理机或HDFS块一一对应。按投影列和元数据定位读取,才能发挥列式布局收益。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      从图8-25中可以看出,一个HDFS文件由若干行组构成,每个行组的各个列形成一个列数据块(Column Chunk),而每个列数据块又被细分为若干个数据页(Page),每个数据页内连续存放列数据,每个列数据则采取类似Dremel的重复层、定义层和列数据项来存储相关信息。而在文件尾 (Footer)则存储了关于行组、列数据块及数据页的元数据。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落192(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://parquet.apache.org/docs/concepts/](https://parquet.apache.org/docs/concepts/)。 - 原始内容:从图8-25中可以看出,一个HDFS文件由若干行组构成,每个行组的各个列形成一个列数据块(Column Chunk),而每个列数据块又被细分为若干个数据页(Page),每个数据页内连续存放列数据,每个列数据则采取类似Dremel的重复层、定义层和列数据项来存储相关信息。而在文件尾 (Footer)则存储了关于行组、列数据块及数据页的元数据。