知识卡片
列式布局省IO
行式存储适合读取整行,列式存储适合分析查询只读取少数字段。列式还能按列选择压缩算法,提高压缩率;代价是重组完整记录更复杂,写入路径也更重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
与行式存储布局对应,列式存储布局在实际存储数据时,按照列对所有记录进行垂直划分,将同一列的内容连续存放在一起。在各种应用场景中,记录数据的格式有简单的和复杂的两种。简单的记录数据格式类似于传统数据库的(记录-字段)这种平面型(Flat)数据结构,而复杂的记录格式则可能是嵌套(Nested)的记录结构,即字段内容可能是另外一个有结构的记录体,比如JSON格式就是这种支持嵌套表达的复杂记录格式。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.4.1 行式存储"与"8.4.2 列式存储"一节(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确行式存储缺陷"即使如此也要将整个记录全部读出后才能读取到所需的字段……对于记录的所有字段只能统一采用同一种压缩算法";列式存储优点"如果SQL查询只涉及记录的个别列,则只需读取对应的列内容即可……可以针对每列数据的类型采取具有针对性的数据压缩算法",但"从列式数据中拼合出原始记录内容"需要跨机器网络传输,效率较低。
- 原始内容:行式存储布局有两个明显缺陷:其一是……即使如此也要将整个记录全部读出后才能读取到所需的字段;其二是……对于记录的所有字段只能统一采用同一种压缩算法……如果SQL查询只涉及记录的个别列,则只需读取对应的列内容即可……可以针对每列数据的类型采取具有针对性的数据压缩算法……列式存储要从列式数据中拼合出原始记录内容……可能需要大量的网络传输才行