知识卡片
行组内按列组织RCFile
RCFile先把若干记录分为行组,再在组内按列连续存储,组头记录行数与各列数据长度。读取少数列时可跳过同组其他列,重建一行时相关列仍有组级局部性。行组大小在扫描效率、缓存和内存之间取舍;逻辑分组并不自动保证任何部署中都落在同一台机器。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
RCFile是典型的混合式存储布局,其布局如图8-23所示。其首先将记录表内的记录按照行划分为行组(Row Group),HDFS每个数据块可以包含多个行组数据。对于每个行组,存储3类信息:Sync是行组同步标识,用于识别是否是数据块中一个新的行组开始;元数据(Metadata Header)则记录了这个行组包含多少记录,每列占用空间大小等数据;另外一类是实际数据,在数据块中按照列式存储。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落182(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:RCFile是典型的混合式存储布局,其布局如图8-23所示。其首先将记录表内的记录按照行划分为行组(Row Group),HDFS每个数据块可以包含多个行组数据。对于每个行组,存储3类信息:Sync是行组同步标识,用于识别是否是数据块中一个新的行组开始;元数据(Metadata Header)则记录了这个行组包含多少记录,每列占用空间大小等数据;另外一类是实际数据,在数据块中按照列式存储。