知识卡片

结构图卡 · 1773.c.1

行式存储与列式存储的读写权衡

理解等级:未标注

同一份”若干行、每行若干列”的数据,在磁盘上可以按行组织也可以按列组织,这个选择直接决定了读写各自的效率特征。行存储把同一行的所有列连续存放在一起,写入时只需一次连续写就能落盘一整行,天然适合”频繁整行插入/更新”的写多读少场景;但读取时,即使只想要某一列,也必须把整行数据都读出来再挑出需要的列,如果表有几十上百列而每次查询只用到少数几列,就会浪费大量无谓的IO。列存储反过来,把同一列的所有值集中存放在一起,写入时要把一行拆散、分别追加到各自的列文件里,写入路径更复杂;但读取时可以按需只读取查询涉及的那几列,跳过其余列的数据,同时因为同一列的数据类型高度一致、取值往往有规律,同列数据放在一起后压缩率也会显著提升。这解释了为什么行存储(Text File/Sequence File)适合日志采集这类”写多、且每次基本要读整条记录”的场景,而列存储(ORC/Parquet/CarbonData)适合数据仓库分析这类”少数几列做聚合统计”的场景。为了让上层计算框架(MapReduce、Spark等)能并行处理这些不同格式的文件,Hadoop把文件读写抽象成InputFormat(把文件逻辑切分成多个可并行处理的InputSplit)和OutputFormat(按指定格式写出)两层接口,不同存储格式各自实现这两个接口,计算框架因此不需要关心底层文件到底是行存储还是列存储。可迁移启发:选择存储格式前先回答”这份数据以后主要是整行读写,还是经常只挑几列做统计分析”,这个问题的答案基本就决定了应该选行存储还是列存储,而不是反过来先选了格式再迁就使用模式。

结构图:

flowchart LR
  A["同一份数据(行x列)"]
  A --> B["行存储<br/>同一行连续存放<br/>写入快(整行落盘)/<br/>读取需读整行(浪费IO)"]
  A --> C["列存储<br/>同一列集中存放<br/>写入需拆行(较复杂)/<br/>读取可只取所需列+同列压缩率高"]
  B -.->|"适合写多读整行:如日志采集"| B
  C -.->|"适合少数列聚合统计:如数据仓库分析"| C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第5章《数据序列化与文件存储格式》之"5.3 文件存储格式剖析"(源文件:_epub-src/OEBPS/text00037.html) - 结论依据:原文说明"行存储以行为单位进行存储,读写过程是一致的,都是连续读取或写入同一行的所有列;列存储写数据时将数据拆分成列,并以列为单位存储(相同列存储在一起),读数据时,分别读取对应的列,并拼装成行……为了应对这种场景,Hadoop将文件读取和写入模块抽象成InputFormat和OutputFormat组件",直接支撑本卡关于行列存储权衡与InputFormat/OutputFormat抽象的结论。 - 原始内容:在实际应用场景中,数据的列数往往非常多(几十列到上百列),而每次处理数据时只用到少数几列,此时采用列式存储是非常合适的。