知识卡片

普通读书笔记卡 · 2280.h.1.a.11.f

对象存储强一致与版本

理解等级:高级

一致性:更新对象就是在同一键下写新对象。对象存储可能是最终一致的(S3 直到最近还是),写入新版本后有时会读到旧版本。

在对象存储上实现强一致的标准做法——引入强一致数据库(如 PostgreSQL): - 写:① 写对象;② 把返回的版本元数据(哈希或时间戳)写入强一致数据库; - 读:① 从数据库取最新元数据;② 按键查询对象元数据,匹配则读取;③ 不匹配就重复②直到拿到最新版本。 这些步骤可封装在 API 后,读者看到强一致的对象存储,代价是更高的访问延迟。

版本管理:开启版本后,键 + 版本元数据唯一引用一个不可变对象,用它读取就没有一致性问题;请求“默认/最新”版本时一致性问题仍在。主要开销是存储成本:对象存储通常为每个版本保存完整数据而非差异快照,大对象加高频更新可能灾难性地昂贵。可用生命周期策略按版本年龄或数量自动删除旧版本或转入归档层。

存储类别:S3 Standard-IA 以更高检索费换低存储费;One Zone-IA 只存一个区(可用性从 99.9% 降到 99.5%,区被破坏数据就丢);Glacier Deep Archive 每月每 TB 约 1 美元起,但恢复需 12 小时,面向存 7~10 年、每年访问 1~2 次的数据。要注意计划如何使用归档存储——访问比预期频繁时成本很高。

挂载为文件系统(s3fs、S3 File Gateway):适合不常更新的文件;高速事务写入会压垮对象存储的更新能力。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 存储 · 查看原书依据

      如果我们用版本来引用一个对象,一些对象存储系统的一致性问题就会消失:键和版本元数据一起形成对一个特定的、不可改变的数据对象的唯一引用。

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.5 对象存储(对象的一致性和版本管理;存储类别和层级;对象存储支持的文件系统)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources) - 结论依据:6.2.5节说明对象存储的最终一致问题及借助强一致数据库实现强一致的读写步骤,版本管理消除一致性问题的条件及其存储成本、生命周期策略,各存储类别的取舍,以及挂载为文件系统的适用范围。 - 原始内容:如果我们用版本来引用一个对象,一些对象存储系统的一致性问题就会消失:键和版本元数据一起形成对一个特定的、不可改变的数据对象的唯一引用。