知识卡片
EBS与实例存储选型
云虚拟化块存储(以 EBS 为例): - 与主机服务器分开存储但位于同一可用区,因此实例关闭、主机故障甚至实例被删除时卷仍然存在; - 数据复制到至少两台独立主机,防止单盘故障;但对可用区故障没有弹性; - 支持即时时间点快照(拍摄时冻结块状态、客户端可继续使用),初始全量后快照是差异的,只写变化的块到 S3; - 按 IOPS 和吞吐分档:SSD 档高性能,磁盘档低 IOPS 但更便宜;单卷可扩展到 64TiB、256000 IOPS。 适合数据持久性很重要的应用,如数据库。
本地实例卷:物理连接在运行虚拟机的主机上,便宜(费用含在虚拟机价格里)、低延迟、高 IOPS。但虚拟机关闭或被删除时内容就丢失(无论是否有意),不复制、不支持快照。
适用场景:当磁盘只作本地缓存时很合适。例如 EMR 在 EC2 上运行短暂作业:从 S3 读数据,暂存在跨实例的分布式文件系统中处理,结果写回 S3——EMR 文件系统自己做复制冗余,作为缓存而非永久存储。
选型方法:设想最坏情况——本地盘故障、虚拟机或集群意外关闭、区域断电时,数据丢失是否会造成灾难?若不会,本地存储是高性价比选项;再加上定期检查点备份到 S3 等简单缓解策略即可。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
我们建议工程师在考虑本地附加存储时设想最坏的情况。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.4 块存储(云虚拟化块存储;本地实例卷)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.2.4节介绍EBS的持久性、复制、差异快照与扩展能力及其对可用区故障无弹性;说明本地实例卷的低成本高性能与易失特性,及其作为处理缓存的适用场景和以最坏情况评估的方法。
- 原始内容:我们建议工程师在考虑本地附加存储时设想最坏的情况。