知识卡片
Parquet分层定位列页
Parquet以Row Group分组,每列对应Column Chunk,再拆成编码压缩的Page;文件元数据描述位置与结构。Column Chunk在文件内连续,Row Group首先是逻辑横向分组,不保证与物理机或HDFS块一一对应。按投影列和元数据定位读取,才能发挥列式布局收益。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
从图8-25中可以看出,一个HDFS文件由若干行组构成,每个行组的各个列形成一个列数据块(Column Chunk),而每个列数据块又被细分为若干个数据页(Page),每个数据页内连续存放列数据,每个列数据则采取类似Dremel的重复层、定义层和列数据项来存储相关信息。而在文件尾 (Footer)则存储了关于行组、列数据块及数据页的元数据。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落192(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://parquet.apache.org/docs/concepts/](https://parquet.apache.org/docs/concepts/)。
- 原始内容:从图8-25中可以看出,一个HDFS文件由若干行组构成,每个行组的各个列形成一个列数据块(Column Chunk),而每个列数据块又被细分为若干个数据页(Page),每个数据页内连续存放列数据,每个列数据则采取类似Dremel的重复层、定义层和列数据项来存储相关信息。而在文件尾 (Footer)则存储了关于行组、列数据块及数据页的元数据。