知识卡片
对象存储:不可变的键值
对象存储是不可变数据对象的键值存储(S3、Azure Blob、GCS)。对象作为字节流写入一次后不可变,不支持随机写和追加,要修改就必须重写整个对象;支持按范围随机读,但性能远不如 SSD。
少即是多:正因为不支持锁和变更同步,对象存储能把数据分布到大规模磁盘集群,提供极高的并行流式读写——写入随流数扩展,读带宽随并行请求、虚拟机数和 CPU 核数扩展。它可以说是第一批“无服务器”服务之一;数据存于多个可用区,耐久性和可用性内置在价格里;空间几乎无限,主要约束是预算。
分离计算与存储的关键:工程师可用短暂集群按需处理数据,让没有预算常备硬件的小组织也能用上大数据。
数据工程用法:适合大批量读写,与大规模 OLAP 吻合。“对象存储不适合更新”只部分正确:它不适合每秒大量小更新的事务负载,但适合低更新率、每次更新大量数据的操作。它是数据湖存储的黄金标准;Hudi、Delta Lake 管理版本和文件的复杂性,GDPR 等法规让删除和更新更重要——这正是湖仓一体的核心思想。也是图像、视频、音频等非结构化数据的理想仓库。
对象寻找:没有真正的目录树,只有桶(全局唯一)和键(桶内唯一)。project-data/11/23/2021/data.txt 只是恰好符合目录语义的键。因此某些“目录级”操作很昂贵:ls 某个前缀需要过滤键前缀,桶里有数百万对象时即使“子目录”只有几个对象也要花时间。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
对象存储是一个用于不可改变的数据对象的键值存储。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.5 对象存储(数据工程应用程序的对象存储;对象寻找)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.2.5节说明对象存储不可变、不支持随机写和追加,以并行换取扩展性与耐久性,是计算存储分离与数据湖的基础,适合低频大批量更新,并解释桶与键的寻址方式和目录级操作的代价。
- 原始内容:对象存储是一个用于不可改变的数据对象的键值存储。