知识卡片
混合布局折中
RCFile、Parquet 这类混合布局把数据分块后按列组织,在顺序扫描、压缩率和列裁剪之间折中。它适合大数据分析,因为查询常批量处理许多行但只看部分列。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
混合式存储布局融合了行式和列式存储各自的优点,首先其将记录表按照行进行分组,若干行划分为一组,而对于每组内的所有记录,在实际存储时按照列将同一列内容连续存储在一起。这种存储布局,一方面可以像行式存储一样,保证同一行的记录字段一定是在同一台机器节点上的,避免拼合记录的网络传输问题;另外一方面可以像列式存储布局一样按列存储,这样不同列可以采用不同的压缩算法,同时也可以避免读取无关列的数据。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.4.3 混合式存储"一节(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确"混合式存储布局融合了行式和列式存储各自的优点,首先其将记录表按照行进行分组……而对于每组内的所有记录,在实际存储时按照列将同一列内容连续存储在一起","一方面可以像行式存储一样,保证同一行的记录字段一定是在同一台机器节点上的……另外一方面可以像列式存储布局一样按列存储",并举RCFile/ORCFile/Parquet为典型方案。
- 原始内容:混合式存储布局融合了行式和列式存储各自的优点,首先其将记录表按照行进行分组,若干行划分为一组,而对于每组内的所有记录,在实际存储时按照列将同一列内容连续存储在一起……一方面可以像行式存储一样,保证同一行的记录字段一定是在同一台机器节点上的,避免拼合记录的网络传输问题;另外一方面可以像列式存储布局一样按列存储……典型的混合式存储方案包括RCFile、ORCFile和Parquet。