知识卡片
按层级重建嵌套记录
Dremel用各叶列的值、重复层和定义层推进记录重组状态机,字段间的转换取决于重复边界。这样查询只投影部分叶列也能恢复需要的嵌套结果,不必读取全部字段。选择性读取省下的IO要与重组成本比较,不能认为列存天然避免所有记录拼接。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
图8-22就是上述网页例子对应的有限状态机,图中的节点是字段信息,边是当前数据下一条数据的重复层信息。FSM读取当前列数据,包括其数据项和对应的重复层及定义层信息,可将当前数据项顺序地输出到恢复文档中,之后判断当前数据的下一条数据的重复层信息,根据重复层信息来决定状态的转移,也就是说,下一个要输出的内容应该去哪个列数据里取。通过这种方式可以快速地根据列式存储数据恢复原始文档记录。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落176(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:图8-22就是上述网页例子对应的有限状态机,图中的节点是字段信息,边是当前数据下一条数据的重复层信息。FSM读取当前列数据,包括其数据项和对应的重复层及定义层信息,可将当前数据项顺序地输出到恢复文档中,之后判断当前数据的下一条数据的重复层信息,根据重复层信息来决定状态的转移,也就是说,下一个要输出的内容应该去哪个列数据里取。通过这种方式可以快速地根据列式存储数据恢复原始文档记录。