此笔记位置已失效,请从目录继续阅读。
全书导读
对象存储把一份数据当作对象,通过名字、元数据和内容来管理它。本书以可运行的简化原型为起点,每章提出原系统不能解决的新问题,再增加一项职责;重点是解释能力为什么需要、数据怎样流转、错误在哪层处理。它是2018年Go与中间件环境下的教学工程,不是已经覆盖生产安全、用户管理和运维的完整云平台。
全书主线
最初只有单机REST存取接口,扩容要求拆开接口服务与数据服务,并用消息实现节点发现和对象定位。名字与内容还需要进一步解耦,所以加入版本元数据;内容用散列寻址后才有校验和去重。保存一份数据并不够可靠,因此引入纠删冗余和修复。真实网络中一次请求可能中断,断点续传便把长传输变成可恢复会话。压缩改变物理存放及传输表示,维护则处理长期积累的版本与无访问数据。
这些能力相互依赖:元数据引用内容,去重共享内容,冗余保护内容;删除任何一层都不能假设其他层同时消失。全文把“业务对象”“物理分片”“临时对象”和“版本元数据”作为不同对象来区分。
前言
本书不是从成熟产品的完整架构倒推,而是从一个简单对象接口出发,按需求逐步增加分布式定位、元数据、校验去重、纠删冗余、断点续传、压缩与维护。对象存储是云存储的后端部分,面向用户的完整服务还需要客户端、身份与监控等组件,书中的HTTP演示也不等于生产安全体系。以廉价节点组成集群的经济性,使节点故障成为必须由软件面对的常态;后文每章都在为这个最初的取舍补充一项能力。
原书依据 · 3 处
第1章 对象存储简介
对象存储把数据、描述信息和标识符视为一个对象。NAS对客户端提供文件系统,SAN提供块设备而由客户端管理文件系统;对象接口则用网络资源和HTTP操作访问数据。业务名字便于人使用,但内容身份与名字应分开,才能在后续支持版本和重复数据处理。
本章原型把HTTP入口与本地文件存取放在一个进程:请求到达已注册路径后按方法分派,PUT将正文写入objects目录,GET将文件流写回响应。Reader和Writer接口让文件、HTTP正文和响应在复制逻辑中协作,不需要每种组合都另写搬运代码。对象名字进入URL之前需编码,服务端还需校验路径,不能把路由拆段规则当作全部输入保护。
验证先检查不存在对象的404,再上传并取回比对内容,确认最短往返路径。它仍只是单机热身:新接口实例不能访问旧实例的本地盘,因而不能单靠增加同样服务器扩容。下一章把对外接口和持久数据层分开,让请求吞吐与存储容量可以分别增长。
对象三要素说明本章相关概念、协作细节或使用边界。
名字不等于标识符说明本章相关概念、协作细节或使用边界。
用PUT上传对象说明本章相关概念、协作细节或使用边界。
接口与存储要解耦说明本章相关概念、协作细节或使用边界。
NAS与SAN的职责边界说明本章相关概念、协作细节或使用边界。
HTTP路由分派对象操作说明本章相关概念、协作细节或使用边界。
对象名先编码再拆路径说明本章相关概念、协作细节或使用边界。
流接口连接文件与HTTP说明本章相关概念、协作细节或使用边界。
用往返验证对象接口说明本章相关概念、协作细节或使用边界。
第2章 可扩展的分布式系统
把接口和数据存取分离之后,接口节点负责对外HTTP与请求转发,数据节点负责本地文件;两类节点可以在不同机器扩展。大对象内容通过HTTP流传输,心跳和定位通过消息交换,这种按负载特点分工比强求所有通信走同一种通道更清楚。
数据节点定期广播监听地址,接口节点保存最后接收时间并清理过期项,选择写入目标时从当前列表随机取节点。接收、清理和查询并发运行,共享map必须同步。读取对象前,接口节点向所有数据节点广播名字,拥有对象的节点回复临时队列;等待有超时,但无回复不能严格证明数据不存在。
上传适配器用管道把外部写入转换成HTTP客户端读取,后台协程执行请求,关闭写端后才能等到HTTP完成结果;下载侧已直接得到响应Reader,只需包装读取能力。RabbitMQ封装则明确区分交换机广播与指定队列单发,让定位回复回到正确发起者。
跨接口上传和下载验证了存取解耦,但随机写入也使同内容重复占空间,或让同名字不同内容分散存放、读取时无法确定版本。后续需要把业务名与内容身份分开,用元数据记录版本,不能把可横向部署误认为一致性和去重已解决。
分布式三大特征说明本章相关概念、协作细节或使用边界。
心跳维护节点列表说明本章相关概念、协作细节或使用边界。
消息定位与REST传数据说明本章相关概念、协作细节或使用边界。
随机选节点的问题说明本章相关概念、协作细节或使用边界。
临时回复队列限制定位说明本章相关概念、协作细节或使用边界。
协程并行处理后台任务说明本章相关概念、协作细节或使用边界。
互斥保护共享节点表说明本章相关概念、协作细节或使用边界。
写流适配HTTP上传说明本章相关概念、协作细节或使用边界。
读流封装远端对象说明本章相关概念、协作细节或使用边界。
队列封装区分广播单发说明本章相关概念、协作细节或使用边界。
多节点验证解耦存取说明本章相关概念、协作细节或使用边界。
第3章 元数据服务
元数据是对对象的描述。系统需要名字、版本、大小和摘要来定位数据及管理历史,用户还可能需要照片拍摄地点等自定义描述,本章只实现前一类。内容摘要把对外名字与物理数据身份分开:同一内容可被多个名字引用,内容变化则形成新数据而不覆盖旧内容。安全散列的单向性、第二原像和碰撞难度是这项识别约定的基础,有限摘要并不是逻辑上绝无碰撞的证明。
客户端在Digest和Content-Length中声明摘要与长度,接口把数据存到以摘要命名的位置,再追加对象名到版本和摘要的映射。本章尚未重新计算正文核验声明,真实内容与名字可能不符,这留给下一章处理。Base64只是让摘要适合文本头部携带,放入URL路径仍需转义。
元数据以ES保存。名字必须完整精确匹配,不能被分词成部分词语;已知版本可按名字加版本构成的文档标识直接取得,最新版本则需要搜索并按版本降序选择。并发追加时多个请求可能选中同一编号,create-only写入以409揭示冲突,再尝试后续编号,避免直接覆盖。列表按稳定维度排序分页输出,偏移分页本身不构成跨时间快照。旧版索引与type语法属于本书环境,滚动索引则展示了通过代际和别名管理增长的思路。
删除只追加大小为零、摘要为空的新版本,使默认最新读取返回404;历史版本和共享数据仍保留。验证路径因此要同时观察默认读取、显式版本读取和历史列表。元数据建立了去重、版本和逻辑删除的基础,并没有独自完成数据校验、垃圾回收或所有并发可见性保障。
系统与用户元数据说明本章相关概念、协作细节或使用边界。
安全散列三性说明本章相关概念、协作细节或使用边界。
散列解耦名字与数据说明本章相关概念、协作细节或使用边界。
删除即加删除标记说明本章相关概念、协作细节或使用边界。
滚动索引扩展元数据说明本章相关概念、协作细节或使用边界。
Digest声明内容标识说明本章相关概念、协作细节或使用边界。
Base64编码不是加密说明本章相关概念、协作细节或使用边界。
元数据名字必须精确匹配说明本章相关概念、协作细节或使用边界。
版本标识支持直接读取说明本章相关概念、协作细节或使用边界。
创建冲突保护版本追加说明本章相关概念、协作细节或使用边界。
分页列出对象历史说明本章相关概念、协作细节或使用边界。
按版本验证删除语义说明本章相关概念、协作细节或使用边界。
第4章 数据校验和去重
去重消除的是同一内容被反复存储的实体副本,而不是逻辑对象名和版本。接口先以散列定位内容,存在就只新增元数据版本,不存在才写新实体。这个优化依赖一个前提:实体的内容必须确实与其散列匹配,否则一份错误内容会污染以后所有复用该散列的对象。 相关机制与操作见单例检查去重、先校验再去重。
大对象无法整体装进接口内存,而最终摘要只有读完才知道。临时对象把接收和正式发布分开:接口边转发到数据节点、边用TeeReader计算摘要,完成后按结果转正或删除;数据节点再检查预期长度,并把临时文件改名为正式散列名。临时对象信息与内容分成两个文件,便于后续用uuid继续操作。崩溃可能漏掉删除,因此还需按创建时间定期清理残留临时文件。 相关机制与操作见临时对象化解悖论、临时对象接口的生命周期、边转发边计算散列。
高频定位若每次查盘,会增加整个系统I/O负担;启动扫描并维护内存map能降低查盘次数,却用索引内存和启动时间换性能。上传校验也不能防止日后介质降解,所以读取时仍需校验并拒绝损坏实体。 相关机制与操作见内存定位缓存的代价、读取时识别数据降解。
广播定位未命中新对象时会等超时,对小对象尤其昂贵。在本书的散列命名与广播模型里,简单跳过去重还可能造成大量副本和反馈消息;客户端把多个小对象打包,可以摊薄定位及下载请求成本。最后用不同逻辑名字上传同内容、检查唯一实体和错摘要拒收,分别验证各个性质,不能仅以HTTP成功码作为去重已正确的证据。 相关机制与操作见小对象宜打包上传、验证去重与拒收错散列。
第5章 数据冗余和即时修复
去重减少不受控的重复,冗余则有计划地保存恢复信息,二者共同服务于成本和可靠性。数据可能因网络、软件、误操作、硬件损坏而丢失,也可能只是维护期间暂时不可用;介质还可能在没有明显故障时逐渐降解。校验发现不一致,冗余才有条件把缺失内容补回来。 相关机制与操作见数据丢失的来源、去重与冗余不矛盾。
4+2 RS方案把每组输入分为四片数据和两片校验,放到六个不同节点;任意四片可重建完整对象,空间约为原数据的1.5倍,最多承受两片失去。一般M+N方案需(M+N)/M的空间比例,可承受N片缺失。代价是编码与解码更复杂,单对象读写涉及更多节点;片分散也有助于分摊负载。 相关机制与操作见RS码省空间容错强。
接口按小块编码并保留原始长度,避免末组填充混入响应;定位信息由分片ID映射到节点,至少找到四片才能恢复。分片文件同时记录整对象散列和自身散列:前者标识归属,后者检测降解。发现坏片后按缺失处理,利用其他可用片重建;缺片的写入目标应避开已持有其余分片的节点。 相关机制与操作见分片编码须保留原长度、按分片定位并分散放置、分片独立校验与剔除、内嵌复用流行为。
读取时,已存在的分片由Reader提供,缺失片由临时Writer接收重建结果;四个数据片组成用户响应,重建的片在读流关闭时提交。这个流程能在读时修复,但临时不可用不一定值得立刻迁移全部冗余,可按剩余片数调整修复阈值。冷对象长期不被读,就不会获得这种修复机会,还必须由后台巡检补上。删除一片再损坏另一片的对照测试,检验的是校验、重建和持久修复的一整条路径。 相关机制与操作见即时修复要放宽标准、读取重建并提交修复片、故障注入检验纠删恢复。
第6章 断点续传
断点续传把一次大传输拆成多个可以恢复的阶段,以抵抗客户端到数据中心之间的不稳定连接。下载端已有正确前缀可以保留,通过Range请求后缀即可继续;本书只实现bytes=起点-这一种形式。接口在解码流中前进并丢弃前缀,返回206和实际范围,因此客户端流量减少,不代表服务端能直接随机定位且免去前缀解码。 相关机制与操作见断点上传比下载复杂、范围下载与顺序跳过。
上传还受完整对象摘要校验约束,不能把一次连接中断后的前缀当正式对象。客户端先POST对象信息创建token,token保存六个临时分片的位置和uuid,后续接口节点据此重建会话,不依赖原节点内存。数据节点新增HEAD来查询临时长度、GET来读取尚未转正的内容。示例token只经过Base64编码,能够被解读,不应当作有保密性的凭据。 相关机制与操作见令牌保存续传会话状态、Base64令牌会泄露信息。
续传进度必须以服务端实际写入长度为准。编码每组处理32000字节,非末批的短尾不能随意加入,否则会破坏四个数据片每块8000字节的约定;把它仅缓存在接口内存也不能跨节点续写。客户端因此每次先HEAD,再以该长度作Range起点;不一致就返回416。示例上传50000字节后只确认32000,下一次应重新从32000发送余下68000,而不是从本地已经发出的50000继续。 相关机制与操作见用HEAD查上传进度、续传必须服从已提交进度。
总长度满足后还要Flush最后一组,从临时分片重建完整对象并校验摘要,再查重、删除或转正,最后写版本元数据。长度满足、校验成功和正式发布是不同阶段。原书通过整对象与后缀的diff分别验证续传内容和范围下载,本次只保存其方法和预期,没有运行服务或执行这些验证。 相关机制与操作见完整上传后回读校验、分段续传的验证闭环。
第7章 数据压缩
压缩是以CPU处理换空间或带宽,效果首先取决于数据特征。专门客户端最适合压缩,也可合并小对象;当客户端不可控、对象又多为可压缩文档时,才考虑由服务端承担。磁盘压缩与HTTP传输压缩应分开:前者在分片转正时压缩、读取时解压,保持上层看到的逻辑内容不变;后者通过Accept-Encoding和Content-Encoding协商是否压缩响应。实现使用gzip流包装原有读写,必须完成流收尾。最后用全零文件演示压缩收益并核对解压后数据,全零的特殊效果不代表随机数据也有相同比率。
压缩最好在客户端;压缩算法各有取舍;存储压缩不改变逻辑内容;HTTP协商下载压缩;关闭压缩流完成输出;压缩验证要看样本特征。
第8章 数据维护
数据维护要同时处理“该保留什么”和“现有数据是否仍完整”。版本留存策略先删旧元数据,之后才能检查哪些内容已无人引用;由于去重会让多个名字引用同一散列,内容删除与新上传之间有竞态,故先移入垃圾目录,等待后再次核对。示例没有把延迟后二次检查与重新上传全部实现出来,这个边界必须保留。
另一条维护链是后台巡检。只在GET时修复会漏过冷对象,扫描器因此遍历数据文件,借助元数据大小建立RS读取流,校验全对象散列并触发既有修复。冗余只提供有限容错,坏片过多仍只能报错。三项工具分别清理旧元数据、暂存孤儿数据、检查修复内容,测试也应分别验证各自结果,不能混成一个“维护已成功”状态。
版本留存策略;删数据先进垃圾目录;后台巡检修复;按策略清理旧版本;分层清理孤儿对象;巡检复用读取修复链;维护工具的验证顺序。
跨章综合
分布式扩展把一个简单文件写入拆成多次协调,可靠性边界也随之增多。数据流转正和元数据版本发布不是同一事务,失败可能留下孤儿数据;反过来,误删共享内容会让多个版本同时失效。临时对象、完整性校验和延迟回收分别约束写入、引用和删除的不同阶段,不能用一次HTTP成功概括整条生命周期。
纠删码保护的是有限数量分片的丢失,修复还必须先发现损坏。即时GET修复与后台扫描因此互补,压缩则必须在恢复逻辑数据后再参与上层散列判断。整体设计的核心不是堆叠组件,而是为每次能力扩展明确状态、完成条件、失败结果及后续清理责任。
发散与实践
以下是读者后续的实现深读计划,已经准备官方固定提交、源码入口与首轮映射,尚未运行代码或部署系统。优先研究内容寻址上传的校验与转正,再观察RS恢复链和现有测试;只有明确问题无法靠阅读解决时才考虑最小实验。
内容寻址上传实现深读(计划:ideas/idea-001-实现带校验的内容寻址去重.md);RS恢复链与测试观察(计划:ideas/idea-002-实测RS码丢片恢复.md)。