← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.17.b

压缩算法的速度取向

理解等级:初级

基本思想:压缩算法寻找数据中的冗余和重复,重新编码以减少冗余;读取时用逆向算法解压、重建冗余。类比:找出本书中出现频率最高的词,为它们创建简写,压缩时用简写替换原词,解压时反之。这种原始方法可做到 2:1 或更高,复杂的数学技术通常能让文本达到 10:1 的压缩率。

无损与有损: - 无损:解压后完整恢复原始数据,分析序列化等要求数据保真度的场景用无损; - 有损:音频、图像、视频追求感官保真,听起来或看起来像原件但不精确,可用于媒体处理管道。

两代压缩算法: | | 代表 | 取向 | 常见用途 | |—|—|—|—| | 传统 | gzip、bzip2 | 高压缩率,非常适合文本 | JSON、JSONL、XML、CSV 等文本格式 | | 新一代 | Snappy、Zstandard、LZFSE、LZ4 | 把速度和 CPU 效率置于压缩率之上 | 压缩数据湖或列式数据库中的数据,优化快速查询性能 |

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第12章《附录A 序列化和压缩技术的细节》A.3 压缩算法:gzip、bzip2、Snappy等(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0019.xhtml,来源项目 book-sources) - 结论依据:A.3节说明压缩算法消除冗余的原理和典型压缩率,区分无损与有损压缩的适用场景,并对比gzip/bzip2与Snappy、Zstandard等速度优先算法。 - 原始内容:近年来,工程师们创造了新一代的压缩算法,将速度和CPU效率置于压缩率之上。