← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 1773.d.1

行组内按列组织RCFile

理解等级:中级

RCFile先把若干记录分为行组,再在组内按列连续存储,组头记录行数与各列数据长度。读取少数列时可跳过同组其他列,重建一行时相关列仍有组级局部性。行组大小在扫描效率、缓存和内存之间取舍;逻辑分组并不自动保证任何部署中都落在同一台机器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      RCFile是典型的混合式存储布局,其布局如图8-23所示。其首先将记录表内的记录按照行划分为行组(Row Group),HDFS每个数据块可以包含多个行组数据。对于每个行组,存储3类信息:Sync是行组同步标识,用于识别是否是数据块中一个新的行组开始;元数据(Metadata Header)则记录了这个行组包含多少记录,每列占用空间大小等数据;另外一类是实际数据,在数据块中按照列式存储。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落182(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:RCFile是典型的混合式存储布局,其布局如图8-23所示。其首先将记录表内的记录按照行划分为行组(Row Group),HDFS每个数据块可以包含多个行组数据。对于每个行组,存储3类信息:Sync是行组同步标识,用于识别是否是数据块中一个新的行组开始;元数据(Metadata Header)则记录了这个行组包含多少记录,每列占用空间大小等数据;另外一类是实际数据,在数据块中按照列式存储。