元数据环形扩展
元数据采用环状键值结构和一致性散列,节点变化时只迁移少量映射。这个设计让扩容不必重排全量元数据,也避免元数据服务成为集中式存储控制器那样的固定瓶颈。以上是书中版本(AOS 5.x)的内部实现,组件名称和细节会随版本变化,不应当作公开不变的接口。
主题对照
在通用硬件上用软件实现的存储数据服务:元数据组织、数据本地化、快照与克隆、纠删码与压缩、存储池与容器策略及其容量与性能取舍。
元数据采用环状键值结构和一致性散列,节点变化时只迁移少量映射。这个设计让扩容不必重排全量元数据,也避免元数据服务成为集中式存储控制器那样的固定瓶颈。以上是书中版本(AOS 5.x)的内部实现,组件名称和细节会随版本变化,不应当作公开不变的接口。
数据本地化让虚拟机迁移后逐步把热数据搬到当前节点,读写优先由本地CVM处理。它不是一次性全量搬迁,而是按访问触发后台调整,用较小网络成本换取长期本地I/O收益。本地化收益取决于工作负载是否常驻同一节点,频繁迁移的虚拟机收益有限。
写时重定向快照把旧vDisk标记为只读,新写入落到新块,克隆主要更新元数据映射。高效快照的核心不是复制得快,而是尽量不复制数据本身,并避免读取时遍历长快照链。以上是书中版本(AOS 5.x)的内部实现,组件名称和细节会随版本变化,不应当作公开不变的接口。
纠删码用数据块加校验块降低副本容量开销,但恢复时需要计算和读取更多块。它适合在容量成本和故障恢复性能之间做取舍;越追求空间效率,越要关注重建时的计算与网络压力。启用纠删码还会影响其他特性,例如书中第 4 章提到它会使机箱感知失效,需与可用性要求一起评估。
在线压缩适合顺序或大块写入,后处理压缩适合数据变冷后由后台任务处理。把压缩放在不同路径,是为了避免容量优化抢占前台I/O;这和[[数据跟随应用]]一样,都是用时机换性能。以上是书中版本(AOS 5.x)的内部实现,组件名称和细节会随版本变化,不应当作公开不变的接口。
全闪模式用成本换低延迟和高IOPS,混合模式用自动分层平衡性能与容量成本。选型不该只问“哪个更快”,而要看工作负载热数据比例、预算和扩展节奏。
一个集群通常只建一个存储池,能让容量在节点间充分共享。多个存储池虽然提供物理隔离,但会制造空闲空间割裂;只有法规或隔离要求明确时,才值得牺牲利用率。
存储容器适合表达不同RF、容量和压缩/去重策略,而不是机械复制传统LUN规划。把系统盘和关键数据盘放入不同容器,可以让可靠性成本落在真正需要保护的数据上。
在HCI上,Datastore数量和大小通常不再决定性能边界,因为底层由分布式存储承载。设计重点应从“多少LUN”转向“哪些负载需要不同策略”,用少量清晰容器降低运维复杂度。
桌面虚拟化的启动风暴本质是大量桌面同时读取主镜像。影子克隆把热点镜像缓存到各节点,减少集中I/O和网络流量;优化VDI要先识别共享热点,而非盲目加磁盘。书中“启动时间缩短 50%”是厂商场景数据,应按自身镜像大小和并发数实测。
Cinder由cinder-api、cinder-scheduler、cinder-volume和cinder-backup组成,经AMQP通信:scheduler按策略选volume节点,请求已指定节点时可以跳过它;volume节点经驱动对接具体存储;backup把卷备份到其他存储系统。厂商差异压进后端驱动,用户面对统一接口。
Glance为OpenStack提供虚拟机镜像服务:glance-api是入口,接收RESTful请求,经Ceph、Swift、S3等后端存取镜像文件;数据库只存镜像元数据,v2 API已把glance-registry并入glance-api。它位于计算与存储之间,镜像能否被发现、复用和治理取决于这个目录服务。
Ceph以RADOS为底层分布式对象存储,librados封装访问协议供应用调用,上层再提供RADOS GW(兼容S3和Swift)、RBD块设备和CephFS。OpenStack中Glance镜像、Cinder卷(存储池可映射为不同等级的后端)和Nova虚拟机磁盘都能放在RBD上,一套集群满足多类需求;统一之后,故障域和性能隔离要另行设计。
云平台接管异构硬件,靠的是把差异藏在统一接口后面:业务平面由虚拟化引擎屏蔽不同厂家服务器的差异,管理平面用插件把异构硬件适配到统一的信息模型。对上层业务暴露的应是容量、IOPS、吞吐等服务指标,这些才是与厂家无关的“统一语言”,业务真正购买的是能力边界,而不是设备型号。
软件定义存储把存储能力从专用硬件中抽出来,用统一的策略控制面管理:租户按需声明容量、IOPS、缓存大小、冗余和可靠性要求,底层据此自动调配资源。它不否认硬件差异,而是对租户屏蔽物理设备,让业务通过服务指标使用存储,不同应用得到不同的 QoS。
分布式存储池用分布式哈希表把数据块打散到多台服务器的多块硬盘上,热点被自然分摊,容量和吞吐可以横向扩展。代价是软件要自己承担原来阵列做的事:副本分布在不同服务器、保持强一致,节点扩容或故障后重建数据并重新均衡负载。复杂度没有消失,只是从硬件控制器转移到了软件层。
共享存储没有 QoS,少数高 I/O 租户就会拖慢所有人。一个卷上可能跑着几十台虚拟机,存储要协调访问竞争,保证高优先级业务拿到资源。云块存储把 IOPS、带宽和时延做成可选档位,并用上限、下限和突发额度控制;对象存储走互联网,时延受网络影响,一般只承诺宽泛指标。
存储虚拟化网关放在 SAN 中间,把不同厂家的阵列整合成统一的逻辑资源池,主机只看到单一视图,迁移、扩容和数据管理功能可以对所有纳管存储统一生效。代价同样明显:所有访问都要经过网关,网关本身成了新的单点故障和性能瓶颈,需要自身高可用设计来补足。
软件定义存储的抽象不是一次完成的。早期逻辑卷与存储端口、物理磁盘紧紧绑定,形成不能共享的孤岛,于是先把逻辑卷与硬件解耦。之后每当新的需求出现,硬件的另一部分又被解耦,软件再对它做抽象、池化和自动化,如此循环,直到只剩硬件最核心、无法解耦的部分。每一轮都是把硬件差异转化为统一的服务能力。
分布式存储按访问模型分三类:块存储提供块设备接口,性能高,典型用法是云硬盘挂给云主机;文件存储既要像块存储那样毫秒级随机读写,又要维护可以无限深的目录树,是三者中最复杂的;对象存储只有“桶-对象”两三层,适合海量非结构化数据。选型关键不是接口名称,而是读写模式和元数据组织方式。
图片、音视频、文档、备份等非结构化数据占企业数据的大头。对象存储用扁平结构管理它们:桶里只放对象,不能再嵌套桶,通过“桶名/对象名”直接定位,没有真正的目录树。放弃传统目录语义,换来的是横向扩展到上千亿对象的能力;需要目录层级和随机改写时,仍应选文件或块存储,与[[分布式存储三类]]互补。
对象存储以“对象”为单位管理数据,一个对象包含三部分:数据本身、描述数据的元数据、全局唯一的标识符。相比之下,网络文件系统按文件管理,块存储按数据块管理,块只有地址没有背景信息。对象通过 REST 接口访问;扩展时只需增加存储节点,并能以比多副本更低的代价提供数据冗余。
单机版对象存储把接口和数据存储紧紧耦合在一起,服务器只能访问本地磁盘。请求量上升时,加一台新服务器也没用,因为它访问不到旧服务器的磁盘。解决办法是拆成接口服务和数据服务:请求量增长时只加接口服务器,存储快满或磁盘 IO 过高时只加数据服务器,两者可以各自扩展。
对象的元数据分两类:系统定义的元数据,如名字、版本、大小、散列值,对存储系统本身有实际意义;用户自定义的元数据,以键值对保存任意描述,如照片的拍摄时间、地点,系统不关心但要替用户保存。书中实现只保存系统元数据,并指出成熟的对象存储通常还支持对自定义元数据的高级搜索。
HDFS早期只支持单一磁盘存储,后来演化为支持多种存储介质并存,让不同”热度”的数据可以放在不同代价/性能的介质上:ARCHIVE(高密度低功耗,适合冷数据长期归档)、DISK(磁盘,默认介质)、SSD(固态硬盘)、RAM_DISK(数据先写入内存,再异步落一份到磁盘);速度、容量与成本取决于具体设备及部署。用户可以按文件粒度设置存储策略,且策略里内置了”回退”机制——当首选存储介质空间不足时,自动降级使用备选介质完成写入,而不是直接失败。在冷热数据分层之上,HDFS又提供了集中式缓存管理,让用户能显式指定某些目录/文件常驻off-heap内存,这解决了操作系统自带页缓存的三个局限:一是操作系统页缓存不能按HDFS副本数精确指定哪些副本驻留,而集中式缓存可以只指定n份副本中的m份被缓存,省下n-m份的内存;二是操作系统缓存用通用的置换算法管理内存,热数据仍可能被换出导致访问延迟忽高忽低,集中式缓存提供显式驻留管理,可降低被通用置换策略清除的风险;三是被缓存的数据块因为校验码已提前算好,在书中所述校验码已计算的条件下,配合zero-copy新API可降低客户端开销,同时NameNode统一掌握哪些数据块被缓存在哪些节点,可以据此把计算任务调度到缓存命中的节点上,进一步减少数据搬运。可迁移启发:异构存储介质分层解决的是”不同数据该放多贵的硬件”,集中式缓存解决的是”同一份热数据该不该、该在多大程度上被钉在内存里”,这是两个独立但可以叠加使用的性能杠杆,前者按数据整体生命周期做粗粒度分层,后者按访问热度做细粒度加速。
结构图:
flowchart TB
A["HDFS分层存储体系"]
A --> B["异构存储介质(按文件设置存储策略,支持空间不足时回退)"]
B --> B1["ARCHIVE:高密度低功耗,冷数据归档"]
B --> B2["DISK:默认介质"]
B --> B3["SSD:固态介质,性能视部署而定"]
B --> B4["RAM_DISK:写入内存,异步落盘"]
A --> C["集中式缓存管理(NameNode统一管理off-heap内存)"]
C --> C1["按副本粒度指定缓存(n份中缓存m份,省内存)"]
C --> C2["显式缓存副本,减少通用置换干扰"]
C --> C3["配合zero-copy API+调度到缓存命中节点,减少数据搬运"]
TFS(Taobao File System)面对的核心问题是海量非结构化小文件的存储与快速定位,架构上 把”谁管理元数据”和”谁存数据”彻底分开。NameServer只负责元数据管理:以数据块(block, 通常64MB)为单位组织数据,把多个小文件打包进同一个block并建索引以便快速定位,每个 block有全局唯一编号(block id,由NameServer分配创建),并维护block到DataServer的 映射关系;这个设计的关键取舍是所有元信息只存在NameServer内存里、不做持久化,靠 DataServer启动时上报自己拥有的block信息来重建映射表,用”重启后重新收集”换取运行时 极低的元数据访问延迟。DataServer只负责实际存储:每个block内的文件有一个block内唯一 的file id(由DataServer在存储时分配),block id和file id组成的二元组唯一定位集群里 任意一个文件——这个双层编号设计把”定位到哪个block”和”block内定位到哪个文件”拆成两级 索引,避免用一个全局扁平的文件名空间去管理数十亿量级的小文件。为保证服务不中断, NameServer按HA方式部署:两台NameServer共享一个虚拟IP,主服务器持有该IP并把block 修改信息同步给备机,独立的HA agent监控主备状态,主机故障时自动把IP切到备机接管服务。
结构图:
flowchart TD
A[NameServer: 只管元数据, 不持久化] --> B[block id + block到DataServer映射表]
C[DataServer: 存储实际数据] -->|启动上报block信息+周期心跳| A
A -->|超时未收到心跳判定宕机| D[复制该Server上的block保证副本数]
E[写请求] --> A
A -->|分配可写block| C
C -->|分配block内唯一file id| F[block id+file id二元组唯一定位文件]
G[主NameServer] -->|共享VIP, 同步block修改信息| H[备NameServer]
I[HA agent监控] -->|主故障时切换VIP| H
TFS 面向小文件,大文件支持放在客户端:先切成多个约 2MB 的分片,分别存入 TFS,再把分片文件名列表作为一个特殊文件存回。读取时先取列表,再取分片并重组。这样复用服务端的存储机制;代价是读取多了一层索引和分片组装,客户端必须识别特殊文件名前缀。
新浪视频团队因人工扩容和既有元数据布局不适用,设计了让请求方按算法计算资源位置的分布式小文件系统,以减少中心索引依赖。相同资源的请求先落在同一位置,是该方案的定位规则;实际全局一致性、故障切换、重分布与副本恢复仍需实现和验证。原书明确说它只完成 DEMO,文件传输尚未完成、暂用 FTP,同样承认难保全局一致性、不能修改文件和难做实时快照。不能把列出的“无单点”“完全平行扩展”当成已验证的生产结果。
结构图:
flowchart LR
A[常见分布式文件系统两类] --> B[数据集中 + MetaData分布]
A --> C[数据分布 + MetaData集中: 集中部分成单点瓶颈]
A --> D[自研思路: 去掉中心, 用算法直接定位资源]
D --> D1[设计目标: 减少中心依赖/节点角色相同/平行扩展]
D --> D2[代价: 难保证全局一致性/仅能删不能改/难实时快照]
元数据版上传要求Digest头声明SHA-256摘要,并以Base64传输其二进制结果;Content-Length声明对象长度。接口用摘要作为数据节点上的对象名,以客户端给的业务名字记录元数据。这样将可变名字与内容身份分开,但此章只读取声明、尚未校验声明与正文一致,不能认为有Digest头就已证明内容正确。
元数据把对象名与版本号拼成文档标识。未指定版本时,按名字搜索、按版本降序取第一条;已知版本时则直接按文档标识GET,避免再次搜索。对外version为0代表最新版本是接口约定,不是一个实际历史版本。返回元数据后还要检查摘要是否为空,因为空摘要表示删除标记而不是可下载数据。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式存储产品实战类
书籍类型:未标注
清单覆盖 8/8
39 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 4/5
46 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 6/6
41 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
45 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 6/6
44 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
53 张卡片
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 5/5
75 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
混合云/云计算平台架构类
书籍类型:速查手册
清单覆盖 9/9
38 张卡片
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。
主题索引
把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。
主题索引
比较 RADOS 中 CRUSH 计算寻址、PG 映射与状态机、Monitor 权威集群表、BlueStore 本地存储,以及 Peering、Recovery、Backfill、Scrub 构成的恢复与校验链。
与 5 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 4 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;共享 2 个其他主题;属于相同分类
与 3 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类