← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1773.d.2

条带索引跳过无关数据

理解等级:中级

ORC把文件划为Stripe,在条带内保存列数据与索引,尾部元数据定位条带。列统计如最小最大值能排除不可能命中的范围,减少解压与读取,但命中范围不代表每条记录满足谓词。只有数据分布和查询条件能利用索引时,跳读才有明显收益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      每个数据带由3类信息构成:行数据区(Row Data)按列存储该行组记录的实际数据;数据带尾(Stripe Footer)记录压缩数据流的位置信息;索引数据(Index Data)记录了该行组所有记录中每一列的最大值和最小值,另外还记录了行组内部分记录的每一列字段在行数据区的位置信息,即记录的索引信息。利用这些记录索引信息,可以在查找记录时跳过不满足条件的记录,提高执行效率。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落188(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:每个数据带由3类信息构成:行数据区(Row Data)按列存储该行组记录的实际数据;数据带尾(Stripe Footer)记录压缩数据流的位置信息;索引数据(Index Data)记录了该行组所有记录中每一列的最大值和最小值,另外还记录了行组内部分记录的每一列字段在行数据区的位置信息,即记录的索引信息。利用这些记录索引信息,可以在查找记录时跳过不满足条件的记录,提高执行效率。