← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.11.c

序列化、压缩与缓存层

理解等级:中级

序列化:内存中的数据通常不适合直接存盘或网络传输,序列化把数据扁平化、打包成读取方能解码的标准格式(XML、JSON、CSV 等)。算法要处理类型、施加结构规则、处理异常(如 Python 对象的循环引用)。底层数据库存储本身也是一种序列化:行式库按行组织以支持快速查找和就地更新;列式库按列组织以便高效压缩和快速扫描。序列化决定了网络表现、CPU 开销和查询延迟。建议熟悉 Parquet、混合序列化(Hudi)和内存序列化(Arrow)。

压缩的三大好处: 1. 占用磁盘更少; 2. 提高有效扫描速度:10:1 压缩比下,每块磁盘 200MB/s 变成 2GB/s 的有效扫描速度; 3. 提高有效网络带宽:EC2 与 S3 之间 10GB/s 的带宽在 10:1 压缩下有效达到 100GB/s。 代价是压缩和解压需要额外的时间和资源。

缓存层次:把经常或最近访问的数据放在更快的访问层;越快越贵、空间越小。实用系统依赖多层缓存:CPU 内多达四级缓存 → RAM → SSD → 云对象存储(长期保留与耐久)。归档存储可以看作反向缓存:以更低成本换取更差的访问特性,主要用于备份和合规保留,通常只在紧急情况下访问。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.1.5 序列化;6.1.6 压缩;6.1.7 缓存(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources) - 结论依据:6.1.5节定义序列化并指出数据库存储也是一种序列化;6.1.6节说明压缩在空间、扫描速度、网络带宽三方面的收益与代价;6.1.7节介绍缓存层次并把归档存储视为反向缓存。 - 原始内容:我们可以把归档存储看作是一种反向的缓存。