知识卡片

结构图卡 · 1773.c.1.a

Sequence File三种压缩粒度的取舍

理解等级:未标注

Sequence File是Hadoop提供的key/value二进制行式存储格式,它对”要不要压缩、压得多细”给出了三种可选粒度,体现了压缩粒度与可切分扫描成本的取舍;压缩比仍取决于数据和算法。未压缩格式最简单,按record(一条行记录)顺序追加写,每隔一定数量的record插入一个同步标记(SyncMark)方便按块切分做并行处理,但完全不压缩,磁盘占用最大。行级压缩在此基础上只压缩每条record的value值,key仍以明文存储,粒度较细,读取已定位记录时只需解压该条value;但文件本身没有因此获得按key定位单条记录的索引,压缩比也取决于数据。块级压缩则以一批record组成的”块”为单位,把这批记录里所有的key、所有的value分别集中存放后再一起压缩,因为同类数据(如许多个key放一起、许多个value放一起)之间的重复模式更容易被压缩算法捕捉,在书中示例里提高压缩比,但读取已定位块内的记录时需要先解压该块,增加局部读取成本。可迁移启发:设计任何需要压缩的存储格式时,”按更大粒度打包压缩换压缩机会,还是按更小粒度压缩降低局部解压成本”是一个需要显式决策的权衡,未必要在两端各选一个极端——SyncMark支持从切分边界继续顺序扫描,不等于拥有单条随机访问能力。

结构图:

flowchart LR
  A["Sequence File三种压缩粒度"]
  A --> B["未压缩<br/>按record顺序写<br/>无压缩,可切分顺序扫描"]
  A --> C["行级压缩<br/>仅压缩每条record的value<br/>单条value压缩,无单条索引"]
  A --> D["块级压缩<br/>整块key/value集中压缩<br/>整块解压,压缩效果看数据"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第5章《数据序列化与文件存储格式》之"5.3 文件存储格式剖析"(源文件:_epub-src/OEBPS/text00037.html) - 结论依据:原文说明"未压缩的Sequence File……由头部开始,顺序跟着一系列record……行级压缩与未压缩的Sequence File类似……区别在于……而record中的value值是经压缩后存储的……块级压缩的Sequence File是以块为单位组织record的……所有record的key长度、key值,value长度和value值将分别被存放在一起,并一起压缩存储",直接支撑本卡三种压缩粒度的结构图与权衡结论。 - 原始内容:为了便于对数据分块和按块压缩,每隔一定数目的record会写入一个同部位SyncMark。