← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1773.c

列式布局省IO

理解等级:未标注

行式存储适合读取整行,列式存储适合分析查询只读取少数字段。列式还能按列选择压缩算法,提高压缩率;代价是重组完整记录更复杂,写入路径也更重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      与行式存储布局对应,列式存储布局在实际存储数据时,按照列对所有记录进行垂直划分,将同一列的内容连续存放在一起。在各种应用场景中,记录数据的格式有简单的和复杂的两种。简单的记录数据格式类似于传统数据库的(记录-字段)这种平面型(Flat)数据结构,而复杂的记录格式则可能是嵌套(Nested)的记录结构,即字段内容可能是另外一个有结构的记录体,比如JSON格式就是这种支持嵌套表达的复杂记录格式。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.4.1 行式存储"与"8.4.2 列式存储"一节(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文明确行式存储缺陷"即使如此也要将整个记录全部读出后才能读取到所需的字段……对于记录的所有字段只能统一采用同一种压缩算法";列式存储优点"如果SQL查询只涉及记录的个别列,则只需读取对应的列内容即可……可以针对每列数据的类型采取具有针对性的数据压缩算法",但"从列式数据中拼合出原始记录内容"需要跨机器网络传输,效率较低。 - 原始内容:行式存储布局有两个明显缺陷:其一是……即使如此也要将整个记录全部读出后才能读取到所需的字段;其二是……对于记录的所有字段只能统一采用同一种压缩算法……如果SQL查询只涉及记录的个别列,则只需读取对应的列内容即可……可以针对每列数据的类型采取具有针对性的数据压缩算法……列式存储要从列式数据中拼合出原始记录内容……可能需要大量的网络传输才行