知识卡片

普通读书笔记卡 · 1773.c.2.b

定义层区分缺失位置

理解等级:中级

定义层说明叶值路径中的可选或重复节点实际定义到了哪一级,从而区分父结构缺失与叶字段缺失。必需节点不增加这种可空层级;非空叶值处于该路径的最大定义层。原文“最大层可省略”不可推广为任意删除非空项的级别信息,Parquet是否可省略某类级别由模式及编码规则决定。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      定义层的含义是:对于某个数据项来说,在文档内定义到其全路径的第几层。定义层对于那些因为其语义描述符是可选或者可重复,因而没有出现的数据项来说更为重要(上文有述,可选或者可重复允许出现0次)。比如上述例子中,网页r1 中没有出现Backward数据项,但是文档定义中出现了Links(在层级1中出现),所以为了能够保留这一信息,在Links.Backward的列式存储中增加一个NULL数据项,并把其定义层设置为1。类似地,网页r2 中Name.Language.Country也没有数据项,所以增加NULL数据项并将其定义层设置为1。其他字段对应的定义层数值可参考图8-21中的数据。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落173(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://parquet.apache.org/docs/file-format/data-pages/](https://parquet.apache.org/docs/file-format/data-pages/)。 - 原始内容:定义层的含义是:对于某个数据项来说,在文档内定义到其全路径的第几层。定义层对于那些因为其语义描述符是可选或者可重复,因而没有出现的数据项来说更为重要(上文有述,可选或者可重复允许出现0次)。比如上述例子中,网页r1 中没有出现Backward数据项,但是文档定义中出现了Links(在层级1中出现),所以为了能够保留这一信息,在Links.Backward的列式存储中增加一个NULL数据项,并把其定义层设置为1。类似地,网页r2 中Name.Language.Country也没有数据项,所以增加NULL数据项并将其定义层设置为1。其他字段对应的定义层数值可参考图8-21中的数据。