此笔记位置已失效,请从目录继续阅读。
全书导读
本书研究怎样让多台普通服务器共同提供存储服务。容量增长只是起点:数据要能定位、修改后要能恢复、部分节点失败时仍要明确服务能承诺什么。前两篇先建立单机存储与跨节点协调的基础,再比较文件、键值、表格、关系数据库的访问能力。第三篇用成书时OceanBase说明机制如何落成模块、接口、测试与运维,第四篇把同样的问题扩展到云服务与数据计算。
阅读时应区分三层材料:长期适用的约束与权衡、历史系统对这些约束的具体回答、当时的硬件数字及产品接口。本笔记对后两者保留时间边界,原文中明显不一致的字段或过度简化的协议解释在对应章节就近说明。没有可靠版权日期和版次,结构化字段保留null;前言2013年7月及OPF包装日期不替代出版日期。
全书主线
单机存储先回答“记录怎样组织到内存和磁盘”:索引影响访问成本,日志和版本决定失败后如何恢复。数据分散到多机后,又要回答“哪台机器负责哪段数据、多个副本以什么次序接受修改”:分区和路由决定位置,复制与协调决定状态,故障检测与恢复决定谁可以继续服务。扩容不是单独增加机器,还会改变路由、复制和资源负载。
不同范型把这些责任组合成不同接口。文件系统管理块和文件元数据;键值系统围绕主键访问;表格系统加入范围和多维记录;关系数据库再处理查询计划、连接与事务边界。OceanBase的基线加增量把读布局与写路径分开,但读时融合、日志回放、冻结合并与发布必须协同。最后,云平台把资源、隔离、计量和安全包装成服务,计算平台则按输入、延迟和输出要求组织并行执行。它们共享“数据在哪里、状态何时生效、失败后怎样恢复”的问题,却不是同一条固定执行链。
flowchart TD
A[数据模型与硬件约束] --> B[单机索引 日志 版本]
B --> C[分区 复制 协调 恢复]
C --> D[文件 键值 表格 关系接口]
D --> E[OceanBase模块与工程实践]
C --> F[云资源与服务边界]
B --> G[批处理 流处理 交互分析]
C --> G
序言
序言说明分布式实践的难处:局部机器失效时其他机器仍在工作;跨网络调用还需要管理较长等待、异步上下文与更多异常。规模增长让多机存储成为必要手段,却也把恢复与通信责任放到软件设计中。文中的延迟倍数和数据规模用于当时的说明,不当作当前硬件结论。
部分故障是分布式常态解释该概念的含义与使用边界。
异步远程调用保留上下文解释该概念的含义与使用边界。
前言
前言把低成本普通服务器上的横向扩展作为全书背景。增加机器后,软件必须处理自动容错和负载均衡,扩容并不会自行得到线性收益。全书从单机数据库与分布式原理讲起,再比较四类系统,以当时OceanBase为实践,最后讨论云存储与大数据。作者对公司规模、项目状态和工具生态的说明是成书时背景,后续逐章保留相应时间界限。
横向扩展转移软件责任解释该概念的含义与使用边界。
第一篇 基础篇
基础篇先讨论单机存储,再讨论节点间的数据分布、复制和故障。单机读写成本与数据模型是理解分布式取舍的前提;这一导语用于安排后续阅读,没有独立的新机制。
第 1 章 概述
本章先定义对外作为整体服务的分布式存储,再用数据形态和访问能力区分系统。分类的价值是辨别输入组织与查询要求,避免把不同产品的接口、事务范围和物理存储方式混为一谈。
1.1 分布式存储概念
分布式存储用网络连接的多台服务器提供统一的数据服务。内部需要决定数据如何分布、复制后如何保持一致、失败时如何接替,以及新增节点如何分担负载。可扩展、低成本、高性能和易用是目标,并不是只要使用多台机器就自然具备的性质;后续章节会分别解释实现条件。
分布式存储统一服务解释该概念的含义与使用边界。
原书依据 · 1 处
1.2 分布式存储分类
数据组织上,结构化记录依赖预先定义的模式,半结构化记录让结构说明伴随内容,非结构化对象则不以统一二维表字段表示;图片和文档仍有编码与内部结构。Schema描述属性、类型及联系,Blob表示按内容对象处理的二进制数据。
本书按访问能力再分文件、键值、表格和关系数据库:主键CRUD与范围扫描是不同能力,支持表格不等于支持任意多表连接。图1-1用chunk连接多种外部数据接口,说明它们可能复用复制和迁移机制,但文件、对象与块设备的用户语义仍不同。文中具体产品的归类、一致性哈希归属及能力描述不直接外推到当前版本,后文按原文机制逐项展开。
非结构化不等于没有结构解释该概念的含义与使用边界。
结构化数据预先定义模式解释该概念的含义与使用边界。
半结构化让描述伴随内容解释该概念的含义与使用边界。
Blob按整体对象组织解释该概念的含义与使用边界。
数据块承接不同存储接口解释该概念的含义与使用边界。
键值接口围绕主键读写解释该概念的含义与使用边界。
表格索引增加范围访问解释该概念的含义与使用边界。
关系查询增加分布式协调解释该概念的含义与使用边界。
NoSQL名称不代替需求解释该概念的含义与使用边界。
第 2 章 单机存储系统
单机存储引擎把哈希、B树或LSM等结构落实为持久介质上的访问方法,存储系统再封装成对外数据模型。事务把若干操作看作整体,并要求相应的原子性、约束一致性、隔离和持久承诺;后文专节将逐项展开。日志为故障后恢复变化提供材料,但写入和恢复顺序也必须有协议。
存储引擎实现访问算法进一步解释机制与适用条件。
日志保留故障恢复依据进一步解释机制与适用条件。
2.1 硬件基础
硬件资源的访问成本受路径影响。SMP共享内存和总线,NUMA则让本地与远程内存有不同代价;设备访问还会受中间总线限制,不能只看末端设备带宽。网络拓扑也决定同机架和跨机架传输能获得多少资源。
性能要区分延迟、字节吞吐和每秒操作次数。机械磁盘大量随机请求反复付出寻道代价,连续扫描则摊薄定位成本;不同介质可以按冷热数据组合。集群中的远程内存虽扩大可访问容量,仍附带网络开销。本节图表中的主板、价格、默认副本分布和性能量级属于出版时示例,实际设计须重新测量;不把摩尔定律的书中转述当作当前每18个月固定性能保证。
共享内存仍有总线竞争进一步解释机制与适用条件。
NUMA区分本地远程内存进一步解释机制与适用条件。
IO预算覆盖完整通路进一步解释机制与适用条件。
网络拓扑影响数据放置进一步解释机制与适用条件。
带宽不代表随机访问快进一步解释机制与适用条件。
远程容量不是本地容量进一步解释机制与适用条件。
冷热数据可分层存放进一步解释机制与适用条件。
2.2 单机存储引擎
哈希、B+树与LSM用不同方式组织写入和查找。Bitcask先顺序追加记录,再用内存哈希定位最新值;旧版本由后台合并回收,hint file让重启索引重建少读值内容。B+树把记录保存在有序页面和叶子链中,支持点查与范围访问,缓冲池决定有多少逻辑页访问真正落到磁盘。
LRU用最近访问近似未来价值,扫描大量一次性页面可能污染缓存;样例的新老区及提升条件保护反复使用的数据。原文对LIRS的解释较简化,这里只保留热点保护思想,未把旧版InnoDB参数推广到当前配置。
LSM把修改暂存内存并批量转储,前台写入更顺序,读路径则需处理多版本。活动MemTable写满后冻结,新的表接收写入,旧表转为SSTable;Manifest与Current描述当前有效文件集合。单键按从新到旧查找,Compaction通过转储和多路归并减少过时记录及文件。原文一处称LevelDB仅支持随机读取,与本节开头对LSM范围能力的描述不一致,本笔记不据该句排除范围访问。
追加日志配合内存哈希进一步解释机制与适用条件。
合并回收过时版本进一步解释机制与适用条件。
提示文件加快索引重建进一步解释机制与适用条件。
有序页面支持范围读取进一步解释机制与适用条件。
LRU按最近访问淘汰进一步解释机制与适用条件。
分级缓存抑制扫描污染进一步解释机制与适用条件。
LSM把随机更新转为批写进一步解释机制与适用条件。
冻结表隔离转储与新写入进一步解释机制与适用条件。
清单确定有效文件集合进一步解释机制与适用条件。
从新到旧查找最新状态进一步解释机制与适用条件。
2.3 数据模型
数据模型规定使用者怎样组织和访问数据,而存储引擎负责内部读写结构,两者并非一一对应。文件模型以目录树和文件操作组织字节;兼容的API名称之外还要核对读写可见性、原子性及缓存行为。原文关于NFS与对象服务的限制属于具体历史模型,不作为所有实现的共同限制。
关系模型由有模式的表、行和列组成。查询可在逻辑上理解为取输入、筛行、分组、筛组、投影聚合和排序;该逻辑解释与实际物理执行计划不同。子查询将一个查询作为另一个查询的输入或条件,索引减少定位所需扫描,事务约束并发操作结果。键值接口按主键访问,表格接口增加范围及按列访问,但事务、索引和关联能力须逐产品核对,不能由模型名一概推定。
减少跨表连接可以通过复制属性实现,但需要维护冗余一致性。扩展与性能收益还要和语言标准、生态工具、运维及迁移成本比较;原文关于关系数据库统一采用B树、两阶段提交不能容忍服务器故障的概括过强,此处仅保留分布式协调带来成本和可用性取舍,不将其写成普遍结论。
文件接口还包含读写语义进一步说明上述机制与边界。
缓存副本可能覆盖并发写进一步说明上述机制与边界。
关系模式描述行的结构进一步说明上述机制与边界。
SQL逻辑顺序区别执行计划进一步说明上述机制与边界。
冗余数据减少查询连接进一步说明上述机制与边界。
数据库选型包括迁移成本进一步说明上述机制与边界。
Blob按整体对象组织补充接口与实现能力的区别。
键值接口围绕主键读写补充接口与实现能力的区别。
表格索引增加范围访问补充接口与实现能力的区别。
2.4 事务与并发控制
事务将多个操作作为一个工作单位。原子性要求修改整体生效或撤销,一致性要求遵守数据库和业务约束,隔离性规定并发可见结果,持久性规定成功结果在承诺的故障范围内保存。ATM转账超时揭示了另一层问题:数据库可能已有确定结果,客户端却未知,因此需要查原交易;不能把超时当作必然失败,也不能把可重复读归入原子性。
隔离级别区分可以观察到的并发结果。脏读针对未提交值,不可重复读针对同一项的前后变化,幻读针对查询集合成员变化;丢失更新则是旧值计算覆盖其他更新。可串行化要求效果等同某个串行顺序,不要求所有事务物理上逐个执行。具体实现可能比级别最低要求更强,原文表2-3不应直接充当任意数据库的保证表。
锁用模式和粒度保护冲突资源:不同行可以并行,范围判断还需覆盖潜在插入位置;循环等待需要超时或检测并回滚来解除。写时复制另建修改路径,以原子切换根发布;MVCC保留多个版本,让快照读按可见性取历史状态。二者减少特定读写冲突,但要付出复制、版本存储和回收成本,并不取消写入并发控制。
校正说明(2026-10-27官方文档核对):InnoDB实际使用事务标识、回滚指针及undo历史,快照可见性也不只是比较两个时间列。RC与RR的一致性读取快照时机有区别;本节只采用多版本选择思想,不将原文简化的行结构和固定事务开始快照当作实际实现。见MySQL多版本机制、一致性读取及PostgreSQL隔离级别。
事务四性质各有责任进一步说明上述机制与边界。
转账超时不等于失败进一步说明上述机制与边界。
查询历史确认转账结果进一步说明上述机制与边界。
业务约束需要应用配合进一步说明上述机制与边界。
隔离级别规定可见结果进一步说明上述机制与边界。
读取异常观察对象不同进一步说明上述机制与边界。
旧值计算可能丢失更新进一步说明上述机制与边界。
锁模式与粒度共同限并发进一步说明上述机制与边界。
范围保护还须覆盖插入进一步说明上述机制与边界。
死锁来自循环等待进一步说明上述机制与边界。
写时复制通过新根发布进一步说明上述机制与边界。
MVCC按可见性选择版本进一步说明上述机制与边界。
2.5 故障恢复
故障恢复用日志和已保存状态重建结果。UNDO保存修改前的状态以撤销,REDO保存修改后的状态以重做。书中把每个事务简化成单操作自动提交,并假设可在内存保留修改,才展开只使用REDO的模型;一般事务的恢复责任不能因此省略。该模型先可靠记录日志,再发布内存修改并应答,避免读者看到故障后无法恢复的变化。
成组提交把多个事务的日志共同刷盘,在持久化后才确认,分摊I/O而增加凑批等待;先应答后定时落盘则改变故障丢失承诺。检查点将内存状态转储并记录日志边界,恢复由有效检查点加后续日志组成。文件若包含部分后续操作,重放可能重复执行,因此必须讨论操作是否幂等及检查点与日志位置怎样对齐。固定快照可在不持续阻断写入的情况下生成一致转储,但完整发布和回收还需要协议。
撤销与重做保存不同状态进一步说明上述机制与边界。
先持久化再发布内存结果进一步说明上述机制与边界。
成组提交等待共同落盘进一步说明上述机制与边界。
检查点缩短日志回放范围进一步说明上述机制与边界。
重复回放依赖操作幂等进一步说明上述机制与边界。
快照固定检查点边界进一步说明上述机制与边界。
2.6 数据压缩
无损压缩用更紧凑的表示保留全部原数据。Huffman利用频率配置前缀码,消除码字边界歧义并减少加权长度;LZ类则引用窗口中已经出现的字节片段,必须保存可解码的位置、长度及类型标记。固定前缀索引、只保存最近匹配和按块采样,降低寻找重复的成本,也会漏掉更理想的匹配。原文将LZW等统一描述为LZ77改进过于笼统,这里只保留LZ家族的字典与重复引用思想,不建立该谱系断言。
压缩减少I/O字节,却消耗压缩和解压时间,因此要看CPU与I/O总成本。列式组织可只读取所需少数列,并把相近值放在一起提高压缩机会;整行访问则可能要重组多个列,列组可围绕共同访问字段折衷。位图把取值集合映射到行位置,便于计数且位串可再压缩。物理列式组织、表格接口和列族分组是不同层面的概念,不能用产品名称替代实际布局判断。
压缩收益要扣除计算成本进一步说明上述机制与边界。
前缀编码消除解码歧义进一步说明上述机制与边界。
字典压缩引用重复片段进一步说明上述机制与边界。
稀疏匹配索引换压缩速度进一步说明上述机制与边界。
列式存储减少无关列读取进一步说明上述机制与边界。
列组折衷整行与按列访问进一步说明上述机制与边界。
位图用比特标记匹配行进一步说明上述机制与边界。
第 3 章 分布式系统
分布式存储把数据分散到多台机器,以复制应对故障,也因此引入副本可见性、更新顺序和服务权归属问题。本章先给故障与指标建立共同语言,再沿数据分布、复制、容错、扩展到跨机房部署展开;共识和事务提交分别承担副本协商与跨分片原子性,不是同一个协议的两种名称。
3.1 基本概念
节点可能宕机、进程退出、网络失联或数据损坏,恢复需要分别考虑持久数据、内容检测和授权。网络分区尤其要紧:各区域内部仍可能服务,不能将无回复当作远端已停。RPC因回复丢失而产生成功、失败之外的未知状态;查询原操作和安全重试是恢复调用方知识的办法。原文ATM凭条只是对账线索,不能把纸凭条当作消除通信不确定性的机制。
一致性有外部观察和内部副本两个角度。强一致语义要求明确已完成写与随后读的关系,最终一致性允许传播窗口但要求在相应条件下收敛;读己之写、会话、单调读和单调写分别约束不同历史。它们并非从弱到强排成一条完全包含的直线,也不是副本一时相同就全部成立。
评价系统还需吞吐、延迟分布、可用性及扩展能力。按全年时间计算四个九对应52.56分钟不可用预算,但请求口径、统计窗口和故障定义必须固定。理想线性扩展是机器数与能力成比例,实际瓶颈和协调成本会限制它。
网络分区隔开仍存活节点进一步说明机制与边界。
校验和检测内容损坏进一步说明机制与边界。
RPC结果包含未知态进一步说明机制与边界。
一致性须说明观察范围进一步说明机制与边界。
最终一致性保留收敛条件进一步说明机制与边界。
读己之写限定写者观察进一步说明机制与边界。
单调保证防止状态倒退进一步说明机制与边界。
吞吐和尾延迟共同衡量进一步说明机制与边界。
可用性比例需要测量口径进一步说明机制与边界。
重复回放依赖操作幂等解释结果未知后的恢复边界。
查询历史确认转账结果解释结果未知后的恢复边界。
3.2 性能分析
性能估算从请求路径和资源工作量入手:磁盘随机访问数、传输字节、CPU处理量和内存扫描量应分别预算。串行耗时可累加;并行只有在资源能够并行服务时才可能接近最长单项,不能把三十个共享盘请求直接当成一份磁盘等待。原文缩略图并行式的带宽参数与18ms结果不一致,排序表达中的上标在抽取正文中也变成连写数字,因此这里不把这些精确数字保存为可靠结论。
Bigtable样例揭示了不同请求路径的瓶颈:未命中点查为小记录读取大块,内部读放大与IOPS重要;内存表转向CPU和网络;写入计入日志与副本流量;扫描用批处理摊薄开销。历史设备性能和QPS只能作估算演示,不直接成为当前容量指标。
性能估算沿资源路径拆分进一步说明机制与边界。
并行耗时受共享资源限制进一步说明机制与边界。
读放大改变吞吐预算进一步说明机制与边界。
负载形态决定瓶颈位置进一步说明机制与边界。
3.3 数据分布
数据分布把键映射到多个节点,哈希分片与主键范围分片分别强调不同组织方式。范围组织保留相邻键的局部性,但负载还取决于访问热度和资源消耗。系统需要观察真正的瓶颈、迁移数据与服务,并让客户端在分布、复制及故障处理中维持正确访问;迁移透明是对外契约,不意味着内部没有协调代价。
分布方式影响访问局部性进一步说明机制与边界。
负载均衡不等于字节均分进一步说明机制与边界。
3.4 复制
复制在多个节点保留状态,为故障接管提供材料。主备方式由主副本安排更新顺序;同步模式在规定的备份条件达到后才确认,异步模式则让备份稍后追赶。故障时能否保留已确认写,还取决于确认是否持久、怎样选取新主和怎样阻止旧主继续写;不是只要有一个备副本应答就自然获得所有强一致保证。
无主NWR式读写用集合交集解释读到写入的机会:W+R>N让固定集合中的读写组相交,但版本冲突与写顺序仍需协议。CAP的精确定义与原文工程转述不同:分区期间不能同时保证线性一致的单一历史及每个非故障节点请求都能完成;平时也仍有性能和延迟取舍。降级到异步可保持部分服务,却改变数据保护承诺,须明确风险窗口。
校正依据(2026-10-27):Gilbert与Lynch的CAP论文。原文把P解释成异常时仍同时满足C和A,不采用;其“C仅同一客户端”的转述也不替代论文定义。
复制确认点决定丢失窗口进一步说明机制与边界。
主副本为更新排列顺序进一步说明机制与边界。
读写法定人数只保证交集进一步说明机制与边界。
分区时需明确服务取舍进一步说明机制与边界。
故障降级改变持久承诺进一步说明机制与边界。
3.5 容错
容错首先要检测,再恢复服务并修复冗余。故障会沿节点、机架、电源和机房等共同依赖传播,副本位置应跨所需故障域。未收到心跳只表示怀疑不可达,不能证明旧服务已停;带期限授权的租约让持有者到期失权,发放者在必要误差余量后才重新授予。它依赖明确的时钟和暂停假设,不是单纯“超时就安全”。
单层结构可从已有最新副本接管;两层结构把持久复制交给共享文件系统,再由新服务节点加载必要状态。恢复服务和补足副本是两件事,前者降低停服,后者恢复冗余。停服时间包含故障检测及实际恢复两段。总控自身也需可恢复状态与唯一授权,不能只把单点依赖转给另一个未容错服务。原文把ZooKeeper称作Chubby的开源实现不准确,此处仅作为协调服务的独立产品名,不建立代码或协议等同关系。
副本布局应跨故障域进一步说明机制与边界。
心跳失联只是故障怀疑进一步说明机制与边界。
租约限制服务授权期限进一步说明机制与边界。
恢复服务与补副本分开进一步说明机制与边界。
共享存储改变服务恢复方式进一步说明机制与边界。
停服时间包含检测和恢复进一步说明机制与边界。
3.6 可扩展性
可扩展性应看新增容量是否按需、迁移是否自动、补副本多久及故障恢复压力,而非只看有没有总控。总控维护目录树时可能受元数据内存限制,只维护分片位置则负担不同;客户端缓存和下放数据读写可减少总控访问。分层元数据把全量目录拆给多个节点,但路由、失效及高可用责任仍然存在。
数据库扩展可把不同业务表分开,也可按行拆分,并通过副本增加冗余与读能力。双倍扩容是本节的特定方案,不是所有数据库的固有限制;真正需要比较的是小步扩容、自动迁移和恢复时间等能力。
总控瓶颈取决于职责进一步说明机制与边界。
分层元数据分摊目录规模进一步说明机制与边界。
扩容能力还看迁移弹性进一步说明机制与边界。
3.7 分布式协议
两阶段提交让协调者先询问参与者能否准备,再依据是否全部同意决定提交或取消,持久日志支持故障恢复。准备后的参与者不能任意因超时自行撤销,否则其他节点可能已提交;协调者失联时等待决定是经典阻塞点。不能把请求阶段的超时取消推广到协议所有状态,也不能仅用“不能容错”概括其持久恢复与活性边界。
Paxos的一个共识实例选择一个值。提议者取得多数承诺后,必须继承回复中最高编号已接受提议的值,再请求接受;多数交集与继承约束共同保护已选结果。接受者可接受多个编号的提议,不能用“每个节点只接受一次”解释安全性。协议安全不等于必然终止,持续竞争可能妨碍进展;优化跳过准备需先建立有效领导者等前提。
共识复制和跨分片提交可以组合:共识维护副本及协调状态,提交协议组织多个参与者的整体决定。故障后有新协调者仍需恢复原事务记录,不能凭一次选主解决全部阻塞。校正依据(2026-10-27):Paxos Made Simple与Consensus on Transaction Commit。本节提供概念与责任区分,不是可直接据以实现协议的完整规范。
两阶段提交先准备后决策进一步说明机制与边界。
准备后不能随意超时撤销进一步说明机制与边界。
Paxos通过承诺继承已接受值进一步说明机制与边界。
共识安全不等于必然终止进一步说明机制与边界。
复制共识与事务提交分工进一步说明机制与边界。
3.8 跨机房部署
跨机房部署同时处理数据传播和服务权切换。独立主备集群可整体切换,但异步复制意味着备站可能缺少已确认更新;单集群跨机房可让不同分片主节点分布于不同地点,需要故障域感知的副本放置及全局协调。
分片级复制组把接管责任放到组内,减少对总控租约的依赖,却增加选举、复制及恢复复杂度。副本数与机房布局决定故障后能否保留多数,图3-12的布局不能自动证明任一机房故障后都继续可写。本章把“保存了数据”“仍有权服务”“客户端知道结果”分开,为后面具体存储范型的设计比较提供基础。
机房切换需接受复制后果进一步说明机制与边界。
分片复制组降低总控依赖进一步说明机制与边界。
第二篇 范型篇
范型篇把基础机制放回具体服务:文件系统保存大块或对象字节,键值系统围绕主键访问,表格系统增加范围组织,数据库进一步提供关系查询及事务。各模型是在共同分布、复制和恢复机制上作不同取舍,不能只按产品标签比较优劣。本篇导语仅列结构,不另生知识卡。
第 4 章 分布式文件系统
分布式文件系统既可保存文档、图片和视频,也可为上层表格服务提供持久化。GFS面向大文件及追加,TFS和Haystack则围绕大量照片改造元数据、物理文件布局和访问定位。CDN把可复用内容推近用户,承担缓存责任而非唯一持久存储;本章从源数据组织一路连接到访问路径。
4.1 Google文件系统
GFS用Master维护命名空间、文件到chunk映射及调度,用ChunkServer保存数据块。客户端查位置后直接读写块,缓存元数据而不重复缓存内容,符合顺序批处理和上层表格服务已有缓存的负载。Master按chunk发租约,主块服务器安排并发修改顺序,备副本执行相同次序,减少逐次协调。
追加不是恰好一次:部分失败后的重试可能产生重复或padding,多客户端记录也可交错。数据先送各副本缓冲,再由主发执行指令,让数据路径按网络拓扑优化;流水线在各跳重叠传输,理想公式不含拥塞与排队。把控制与数据合并可简化状态,但改变数据流优化空间,不能脱离负载判断哪种总更好。
Master以日志及检查点恢复权威元数据,副本位置可由ChunkServer重新汇报;块校验和发现损坏,再换副本读取并修复。布局同时考虑容量、故障域及近期分配,修复按副本风险和请求阻塞排序并限速。延迟删除先改逻辑命名空间再清物理字节;快照共享块,后续写才复制,要求处理好租约及引用关系。
块服务器还需均匀分配各磁盘、重用大文件空间并异步处理I/O,但没有展开具体异步实现,不补造源码卡。大块降低元数据项数量,仍需估算文件数量与热点;单Master可行是负载和工程设计共同结果。
校正说明(2026-10-27):GFS原论文在授予新租约时推进chunk版本,Shadow Master提供可能稍滞后的只读访问,与故障后启动新主进程的机制需区分。原书把它统一写成实时热备切换过于简化;此处不据此声称Shadow可直接承接写入。
元数据定位与数据读写分离进一步说明机制和取舍。
缓存放在负载合适的层进一步说明机制和取舍。
按块授权减少逐次协调进一步说明机制和取舍。
版本号排除过期副本进一步说明机制和取舍。
追加成功不保证只有一份进一步说明机制和取舍。
数据流与控制流可分开进一步说明机制和取舍。
流水线传输重叠多跳等待进一步说明机制和取舍。
可重建状态无需重复持久化进一步说明机制和取舍。
限制近期分配防止空机过载进一步说明机制和取舍。
修复任务按风险和阻塞排序进一步说明机制和取舍。
延迟删除分离逻辑与物理进一步说明机制和取舍。
快照先共享后复制数据块进一步说明机制和取舍。
大块减少元数据但限制小文件进一步说明机制和取舍。
校验和检测内容损坏在此处得到具体实现例证。
横向扩展转移软件责任在此处得到具体实现例证。
4.2 Taobao File System
TFS为大量读多写少Blob合并小文件到物理块,用块ID及偏移定位,降低文件系统目录和inode的重复成本。NameServer只维护块及节点映射,不维护完整目录树;每次写由它选择块和主副本,主写入各副本、更新块版本后确认,同块内串行化。此流程以较少写流量换取协议简单。
应用保存对象物理位置,并在更新时写入新对象、替换数据库位置。外露偏移使块重整受到限制,只删应用索引不代表空间回收。独立指纹键值系统可提供去重索引,但哈希碰撞、并发登记和失效都仍有责任;原文MD5/SHA1是历史方案,不作当前安全推荐。
合并小文件减少定位元信息进一步说明机制和取舍。
简化写流程要有负载前提进一步说明机制和取舍。
物理偏移外露限制重整进一步说明机制和取舍。
内容指纹为去重提供索引进一步说明机制和取舍。
4.3 Facebook Haystack
Haystack同样把照片装入大物理文件,但用逻辑卷映射多个物理卷副本,外部对象身份不依赖固定偏移,内部索引定位照片。写成功要求所述副本完成,副本偏移可以不同;更新可追加同照片身份的版本,删除追加标记,合并时按有效最新状态重写文件。间接定位让物理回收可行,这是与TFS的重要区别。
内存索引保留键、规格、偏移和大小,索引文件异步追加以便重启少扫数据;故障时从索引边界补扫卷尾。原文的字段和字节总量存在不一致,预算应据实际编码计算。大卷减少元数据,却增加拷贝和恢复时间;复制及目录数据库也仍需容错。
读路径通过目录构造对象位置,可经外部CDN及内部缓存。只缓存直接请求中可写卷上的新照片,是以近期内容推断热度的特定策略。原文对目录使用MySQL Sharding和Memcache明确是猜测,不作为已核实实现;照片规模、硬件、RAID和CDN厂商都仅保留为历史背景。
逻辑卷分离对象与物理偏移进一步说明机制和取舍。
紧凑索引保留最小定位信息进一步说明机制和取舍。
追加数据可补建滞后索引进一步说明机制和取舍。
删除标记配合合并回收进一步说明机制和取舍。
卷大小影响迁移恢复时间进一步说明机制和取舍。
新上传内容可单独缓存进一步说明机制和取舍。
4.4 内容分发网络
CDN由调度将请求导向合适边缘,命中缓存直接返回,未命中才回源,减少远端链路和源站压力。原文DNS路径是一个实现示例,不保证边缘只有一跳。淘宝历史架构用L1、L2和图片服务器本地缓存逐层汇聚,再取TFS;单节点以四层和七层调度把请求送到缓存服务器。
缓存可重新填充,所以持久化责任与原始存储不同,但下线和批量失效仍可能造成回源压力。按热度分层介质和低功耗硬件是围绕I/O负载作成本选择,不把当时的Atom、SSD或磁盘价格当当前建议。源站更新删除还要传播失效,热门内容并不会因为访问多自然变新;数据存储、缓存命中和内容新鲜度是不同保证。
边缘缓存缩短内容访问路径进一步说明机制和取舍。
多级缓存汇聚回源流量进一步说明机制和取舍。
缓存失效仍要保护源站进一步说明机制和取舍。
源站更新不等于缓存失效进一步说明机制和取舍。
冷热数据可分层存放在此处得到具体实现例证。
第 5 章 分布式键值系统
键值系统围绕单个主键读写,不解析值的内部关系,适合用哈希分配。Dynamo把成员传播、多副本访问、冲突版本和修复结合;Tair采用控制节点管理哈希桶与路由,降低部分协调复杂度。原文对P2P价值和未来地位是出版时观点,不作为当前采用率或架构优劣结论。
5.1 Amazon Dynamo
Dynamo用哈希环定位键,每台物理机承担多个虚拟区间,以细粒度分配容量并限制成员变化时的映射范围。节点通过Gossip交换成员视图,新节点借种子获得初始信息;各节点视图仍可能暂时不同。固定哈希分区让迁移、校验树和备份拥有较稳定边界,不能仅凭均匀哈希推断所有实际请求均衡。
多副本请求由一次请求的协调者收集W个写入或R个读取结果,达到阈值即可应答,剩余任务继续推进。Hinted Handoff让临时替代节点持有需归还的数据,因此不能把固定副本集的W+R>N交集性质直接套到任意临时集合。原文一处写成N+W>R是错误式,本笔记不沿用;法定人数本身也不足以证明强一致。
向量时钟保存版本继承历史,能识别并发分支,但业务仍须决定合并规则;按时间戳取最大值会丢弃其他分支且受时钟偏差影响。Merkle树逐层定位差异范围,读取修复利用访问发现并更新旧版,它们分别承担后台比较和访问触发修复,不是只要“最终一致”就自然发生收敛。
本地请求用事件状态机处理发送、等待、重试、超时和合并;应答后暂留状态以处理晚到副本修复。协调、成员检测与可插拔存储引擎分离,后台同步和重试还需受资源配额约束,以免压垮前台。弱一致测试应验证协议规定的可观察性质和冲突集合,而不能要求每次并发都返回同一个无条件结果;原文对Dynamo/Cassandra关注下降等市场判断不作为现在事实。
一致性哈希限制映射变更进一步说明该机制与限制。
虚拟节点细化容量分配进一步说明该机制与限制。
Gossip逐步传播成员视图进一步说明该机制与限制。
提示回传暂代离线副本进一步说明该机制与限制。
向量时钟区分继承与并发进一步说明该机制与限制。
按时间覆盖会舍弃并发结果进一步说明该机制与限制。
Merkle树定位不一致范围进一步说明该机制与限制。
读取修复利用访问发现旧版进一步说明该机制与限制。
固定分区简化迁移与校验进一步说明该机制与限制。
后台资源配额随前台调整进一步说明该机制与限制。
协调者按阈值收集副本结果进一步说明该机制与限制。
应答结束不等于请求状态销毁进一步说明该机制与限制。
可插拔引擎隔离本地存储进一步说明该机制与限制。
读写法定人数只保证交集在本节获得具体实现例证。
5.2 淘宝Tair
Tair以Config Server维护桶到DataServer的映射,客户端查到路由后直接访问DataServer。键先映射到桶,桶再分配给节点,复制与迁移围绕桶进行。故障先提升可用备副本恢复服务,再补足冗余;作为缓存和持久存储使用时,数据恢复责任不同。
迁移期间A继续接收请求并记录修改,B拿到基线后还需追增量;已迁完桶可由A转发旧路由请求。客户端带路由版本,DataServer发现过期则促其刷新,降低每次访问控制节点的需要。Config Server存在并不自动保证强一致:原文指出该历史实现的持久化复制是异步,故障时仍可能读旧或丢最近更新;应按确认点及恢复协议判断。DataServer抽象存储层与请求/响应插件提供扩展点,但本节未给出真实接口签名,不补造类图或源码实现。
哈希桶解耦键与物理节点进一步说明该机制与限制。
在线迁移先复制再追日志进一步说明该机制与限制。
迁移过渡期可转发旧路由进一步说明该机制与限制。
路由版本帮助刷新缓存进一步说明该机制与限制。
复制确认点决定丢失窗口在本节获得具体实现例证。
恢复服务与补副本分开在本节获得具体实现例证。
第 6 章 分布式表格系统
表格系统按行键组织有序范围,在单元中保存列及时间版本。Bigtable把表格服务放在共享持久文件层之上;Megastore进一步丰富接口及事务,Azure Storage提供另一套分层实现。这里的结构是本书历史范型比较,不把“模仿者”等评价写成技术结论。
6.1 Google Bigtable
Bigtable的数据模型可理解为(行键、列名、时间戳)到字节值的映射。列名由预定义列族与动态限定符组成,允许一行只出现部分列;版本可按最近个数或时间保留。行键按字典序排列,键的构造决定范围查询的局部性,也影响热点,不能只依据“有序”就认为均衡。
Master负责子表分配、监控及调度,Tablet Server提供子表读写,GFS保存日志和SSTable,Chubby提供主服务授权、服务器发现及引导。客户端从引导定位根表,经元数据表找到用户子表,再直接访问服务节点;缓存和预取降低重复定位。容量算式依每项元数据和分片大小的假设,原文2048PB只是理想容量演示。
上层需要自己建立正确语义:日志序号消除底层重复,索引选择有效记录,服务权检查阻止两个节点同时承接同一子表。故障恢复把混合日志按子表整理,让接管节点只回放相关片段;先完成大部分转储、再停写转储增量,可缩短迁移窗口,但不能承诺零停顿。
子表分裂先改变逻辑范围及路由元数据,共享已有文件,后续整理才按新范围生成物理文件。元数据持久状态还能修复分裂通知丢失。合并相邻子表可能先要求服务节点共置,原文未给完整实现,不补造操作规范。
校正说明(2026-10-27):Bigtable原论文使用每台Tablet Server对应Chubby文件的独占锁。原文迁移段写成每个子表都拿独占锁,不作为真实锁粒度。一次获取失败也不能单独证明是Chubby故障;可靠重分配依完整会话和锁状态处理。
单元以行列和时间定位进一步说明该机制和条件。
行键字典序塑造局部性进一步说明该机制和条件。
版本保留策略控制历史空间进一步说明该机制和条件。
存储层与表格服务分工进一步说明该机制和条件。
分层定位从引导信息出发进一步说明该机制和条件。
上层索引约束底层追加语义进一步说明该机制和条件。
服务迁移先确保旧者失权进一步说明该机制和条件。
共享日志恢复前按分片整理进一步说明该机制和条件。
预先转储缩短迁移停写进一步说明该机制和条件。
范围分裂先改变逻辑边界进一步说明该机制和条件。
元数据持久状态修复通知丢失进一步说明该机制和条件。
6.2 Google Megastore
Megastore用实体组限定事务边界,把根实体中的日志提交与多行数据、索引的后续物化分开。组内日志经共识复制,跨组仍需队列或额外提交协调;复制服务器汇聚跨机房连接,客户端承担数据映射、事务及复制逻辑。实体组不必永远落在同一底层子表,物理共置有利于性能但不定义逻辑事务范围。
最新读要求追上已提交日志,快照读选择完整版本,非一致性读则可能看到部分事务。写事务先取得完整读取状态,再计算操作并争用下一个日志槽,失败者必须重读重算;不能把共识占槽当成免除业务并发校验的万能方法。局部索引随组维护,全局索引跨组,覆盖字段和重复值分别带来空间与多项写入成本。
本地快速读依赖协调者有效标记;未接受新写的副本须先失效,才允许写者确认。协调者失联需要等授权到期后安全忽略,重启默认失效,生效通知还需比较日志位置和生命周期,避免旧消息复活陈旧状态。无法快读时通过多数派找位置、共识填补不确定槽、顺序重放,然后读取相应版本。
快速写在预先建立的主提议者条件下减少准备轮次,冲突时恢复完整prepare/accept,不能推广为任意省略准备。跨机房复制增加通信等待,协调者故障也可造成停写窗口;原文部分“自动切换不影响读写”的表述与自身协调者段不相容,此处采用其明确的等待条件。
实体组界定本地事务边界进一步说明该机制和条件。
根实体日志承接多行事务进一步说明该机制和条件。
已提交不代表物化已完成进一步说明该机制和条件。
读取模式选择完整性与新鲜度进一步说明该机制和条件。
争用日志槽后需重读重算进一步说明该机制和条件。
局部索引随组内事务维护进一步说明该机制和条件。
覆盖索引以冗余换少回表进一步说明该机制和条件。
重复字段可展开多个索引项进一步说明该机制和条件。
快速本地读依赖有效证明进一步说明该机制和条件。
协调者失效要保守降级进一步说明该机制和条件。
生效消息须防止跨代复活进一步说明该机制和条件。
最新读取先补齐日志空洞进一步说明该机制和条件。
6.3 Windows Azure Storage
WAS将账户定位到Storage Stamp,再经无状态前端路由到分区服务;分区层组织对象表、日志和索引,文件流层保存字节并做本地同步复制,跨存储区复制则由分区层异步进行。三层责任及两种复制范围必须区别,本地成功不等于异地已保护。Fabric Controller提供硬件、网络、健康与部署资源管理,存储协议不能仅由它的健康状态推断。
流由extent构成,extent再由带校验的block构成,分别对应命名接口、复制均衡及读写校验粒度。正常追加经固定主副本排序并流水线复制,失败后封存旧范围、按有效提交前缀统一副本,再用新extent继续写。分区层还通过事务序号及成功记录索引消化重试,不能因为流层保证有效前缀就忽略上层去重。
节点把多extent的写先顺序记录到日志盘,随后合并写回目标文件;调度依据等待和延迟抑制小随机请求饥饿。封存数据可转纠删码,用额外校验段换更少空间,但恢复消耗网络与计算,片段必须按故障域放置。书中的大小、数量、阈值和平均20ms处理时间均为历史样例,不作当前Azure服务承诺。
分区层把对象表按主键连续范围拆分,锁服务保障主PM和PS服务授权,旧PS失权后才重分配。写先记录日志再更新MemTable,快照、后台合并和缓存降低后续读取成本,布隆过滤器排除不可能命中的文件。每分区独立日志及元数据流简化局部恢复,Blob大数据段可转接引用避免重新拷贝。
负载管理区别分区容量过大、分区热点及服务器总体过载,分别选择边界分裂或迁移。迁移先卸载快照、停止原服务,再加载新节点并更新映射;分裂和合并通过复制或拼接extent指针列表减少数据搬运,仍需正确处理快照、范围和路由的提交边界。MultiModify的名字只表示多修改调用,原文未给完整失败原子协议,不补造保证。
同步范围决定灾备承诺进一步说明该机制和条件。
前端路由连接账户与分区进一步说明该机制和条件。
流范围与块承担不同粒度进一步说明该机制和条件。
封存旧范围后另开追加段进一步说明该机制和条件。
提交长度界定可见前缀进一步说明该机制和条件。
日志盘合并多文件随机写进一步说明该机制和条件。
磁盘调度要约束饥饿等待进一步说明该机制和条件。
纠删码以恢复计算换空间进一步说明该机制和条件。
布隆过滤器排除必无项进一步说明该机制和条件。
按分区日志取舍写入与恢复进一步说明该机制和条件。
转接数据段避免复制大对象进一步说明该机制和条件。
热点分裂区别容量分裂进一步说明该机制和条件。
流指针重组支持分裂合并进一步说明该机制和条件。
上层索引约束底层追加语义在WAS的对应责任层获得具体例证。
租约限制服务授权期限在WAS的对应责任层获得具体例证。
冻结表隔离转储与新写入在WAS的对应责任层获得具体例证。
范围分裂先改变逻辑边界在WAS的对应责任层获得具体例证。
第 7 章 分布式数据库
关系数据库的扩展可以由应用和代理拆分、由数据库内部自动分区,或重新组合存储引擎、复制和事务。三条路分配的责任不同:兼容SQL协议并不自动拥有跨分片事务,内部复制也不自动解决并发隔离。本章从代理、历史SQL Azure到Spanner比较责任如何组合。
7.1 数据库中间层
分片代理把SQL解析、路由、结果合并与后端单机数据库分开,元数据服务保存分片规则和角色,agent处理监控升级等控制动作。按用户定位单组能减少协调,跨用户查询则要扇出、等待并归并;读备库可能有延迟,强读需要相应路径。兼容客户端协议只是接口便利,不能由此断言所有原单机程序无差别迁移。
利用同步备机转为新分片可减少提前搬运,但要短暂停写、核对复制边界、改变映射并补副本。原文奇偶分组与模4映射前后不一致,此处只保留方法和风险,不给可直接执行的映射表。单大用户仍可能超过单组能力,需要进一步切分并承担新的定位和事务成本。
分片代理隐藏路由责任进一步说明该机制和条件。
运维控制与事务路径分离进一步说明该机制和条件。
提升备机扩容会暂降冗余进一步说明该机制和条件。
大租户可能突破单分片进一步说明该机制和条件。
7.2 Microsoft SQL Azure
本节历史云SQL Server把多张表按共同划分键组织为表格组,相同键值的行形成行组;行组在一个物理分区中,限定了本地事务边界及单组容量。分区由多个故障域上的副本保护,协议网关路由,全局分区管理器维护映射、角色和恢复任务,Fabric检测成员及选举。它是本书架构模型,不是当前Azure SQL的功能文档。
主副本以逻辑操作和提交序号复制事务,多数确认后应答,故障恢复仍需选取包含正确提交历史的副本并隔离旧主。落后较少时补日志,较多时先装快照再追日志。消息及磁盘内容校验用于发现损坏,不能代替数据恢复。修复队列优先恢复主服务和单副本高风险分区,短暂失联不一定立即全量复制。
负载均衡可迁移副本,也可只转移主角色,后一种无需先拷贝全部数据;近期迁入速率需要控制。多租户限制CPU、内存、写速率和容量,超限行为应区分可恢复情形。原文650分区、七副本、两小时、50GB以及USE限制等均为出版时描述,不作当前规格与操作指南;托管服务仍有成功、失败和结果未知三态。
行组共置限定事务能力进一步说明该机制和条件。
提交序号保留复制顺序进一步说明该机制和条件。
落后程度决定恢复起点进一步说明该机制和条件。
切主可均衡而无需搬数据进一步说明该机制和条件。
多租户限制资源与容量进一步说明该机制和条件。
7.3 Google Spanner
Spanner以目录组织相关数据,通过Spanserver服务有序子表,副本组跨机房共识复制,位置代理和放置调度处理定位及迁移。共置减少常见跨组访问,但不意味着目录永远单机,Universe与Zone数量也不是当前产品统计。书中关于目录映射具体存储方式明确是猜测,不补造成已核实架构。
复制组决定日志一致,锁表控制并发读写,事务管理器与两阶段提交负责跨组整体结果。只读快照也需在各组达到安全可读时间后读取,不能获得某个时间戳便直接拼现存行。事务提交时间戳的选择还受准备时间和历史单调性约束,原文忽略TrueTime的两步模型只是教学简化。
TrueTime暴露一个包含真实时间的区间,提交等待直到所选提交时间确定已经过去,以维护完成在先、开始在后的外部顺序。误差不是固定常量,等待可与Paxos通信重叠,因此原文2e不等于每次额外独立叠加的固定开销。GPS和原子钟提供不同故障特点的时间源,不会因部署两类时钟就免除区间误差管理。
目录迁移可为负载、地理距离及共访局部性服务,传输与最后位置切换之间仍需正确处理并发更新。校正依据(2026-10-27):Spanner原论文。原文把Percolator的timestamp oracle说成Oracle数据库没有可靠依据,本笔记不采用这一产品归属,也不把TrueTime描述为只为生成唯一ID。
目录共置减少跨组事务进一步说明该机制和条件。
共识复制之上仍需并发锁进一步说明该机制和条件。
TrueTime显式返回时间区间进一步说明该机制和条件。
提交等待维护外部顺序进一步说明该机制和条件。
跨组快照要等安全可读点进一步说明该机制和条件。
地理放置权衡延迟与故障域进一步说明该机制和条件。
第三篇 实践篇
实践篇以本书写作时的OceanBase设计为案例,把基线/增量组织、存储引擎、数据库语义和工程运维连接起来。以下架构主要反映2011—2013年前后的系统,不应当作当前OceanBase模块和部署说明。
第 8 章 OceanBase架构初探
早期OceanBase由RootServer、UpdateServer、ChunkServer和MergeServer分工:基线只读分散存储,近期更新集中记录,查询融合两层。本章先说明业务动机,再解释职责、资源瓶颈和校验机制,后续两章分别展开存储引擎与数据库功能。
8.1 背景简介
收藏夹需要展示最新商品属性并排序,一个用户的收藏可能关联很多商品,热门商品又被许多用户共享。逐项远端查价会放大读取,把价格冗余到每条收藏又会放大商品更新。这个冲突说明按用户简单分片或全面复制属性都不自动解决业务关系。原文4000次乘5ms的20秒是假定串行、未缓存的示例,不代表系统实测。
关联查询与冗余各有放大进一步说明机制和取舍。
原书依据 · 1 处
8.2 设计思路
设计利用总量大而近期变化相对少的假设:把历史状态作为只读基线分布到多台ChunkServer,把近期修改集中到UpdateServer。读取融合,后台定期下沉旧增量,使写事务可在单机内处理跨行跨表原子性。代价是新写吞吐和增量查询依赖单逻辑写点,扩展基线容量并不自动扩展这一点。
原文对Percolator、HBase等产品成熟度及SSD能力的评价限于出版时期,不作为当前选型事实。顺序分布有利于主键范围查询,但非主键条件仍需索引或其他访问路径,不能由“有序”推出任意范围查询都高效。
基线加增量按时间分工进一步说明机制和取舍。
集中写简化事务但限吞吐进一步说明机制和取舍。
8.3 系统架构
RootServer维护节点、子表位置和副本,并通过租约保障唯一写主;UpdateServer保存近期稀疏修改和日志;ChunkServer保存有序基线、缓存并融合增量;MergeServer解析SQL、计划和跨分片合并。客户端可用兼容协议接入,额外封装负责选择节点、黑名单及流量分配。协议兼容不能自动证明所有应用语义无差别。
查询通常从基线和对应增量形成完整行,写事务先由MergeServer取得所需基线,再交给UpdateServer结合当前增量执行。冻结内存转稀疏SSTable、定期合并及数据分发控制增量驻留量。稀疏记录只含部分变更列,必须按版本融合,不是完整行快照。
相同SQL路由黏性可提高查询缓存复用,但需处理参数、权限、版本和热点。跨集群升级先撤流量、升级备站、逐步验证再切写主,每次切换都依赖复制边界及角色授权。MergeServer无持久状态方便替换,但在途调用仍可能中断或结果未知,原文“宕机无影响”不能按字面作为保证。
查询融合基线和近期修改进一步说明机制和取舍。
增量稀疏记录只改过的列进一步说明机制和取舍。
请求黏性可提高查询复用进一步说明机制和取舍。
流量切换支持分阶段升级进一步说明机制和取舍。
无状态节点故障仍会断请求进一步说明机制和取舍。
8.4 架构剖析
复制策略要把确认、资格和恢复材料一起看。正常写先传播日志并持久化,再发布内存结果;备机失联时剔除它并通知RootServer,防止未来提升陈旧副本。此动作提高单主继续写的可用性,同时减少新写独立保护,不能仅凭不提升旧备就证明主机永久丢失时数据仍可恢复;异地异步容灾同样可能缺少最近更新。
基线是分布的有序子表与块索引,增量由活动MemTable、冻结版本及SSD文件组成。写事务集中执行而只读请求由MergeServer组织,二者仍需按实际事务版本检查完整性。内存按近期变化字节及膨胀估算,网络还要看小包处理,日志可借保护写缓存及成组提交分摊I/O;这些方法不取消集中写点的上限。
缓存冷启动、闪存写放大和设备耐久是负载与硬件共同问题。原文把每次覆盖写简化为整块即时原地擦写,以及用擦写次数直接证明6.8年寿命,均不足以指导实际设备,保留原理与测量边界。软件和硬件旧数字不作为当前规格。
数据校验跨多个环节:存储与传输比对摘要,镜像重放核对内存结果,独立生成基线后再比较同范围同版本副本。检测能及早暴露分歧,却不自动选择正确副本或证明业务语义正确。系统还分存储引擎和SQL功能层:前者组织主键范围、分布和恢复,后者提供查询计划、事务和并发控制;MemSQL类比是理解分工的比喻,不是代码继承关系。
剔除备机需同步角色知识进一步说明机制和取舍。
增量容量按变化字节估算进一步说明机制和取舍。
小包吞吐不同于字节带宽进一步说明机制和取舍。
持久缓存需要明确故障范围进一步说明机制和取舍。
冷缓存启动需渐进承压进一步说明机制和取舍。
闪存回收带来写放大进一步说明机制和取舍。
镜像校验检查重放结果进一步说明机制和取舍。
独立合并后核对副本摘要进一步说明机制和取舍。
第 9 章 分布式存储引擎
存储引擎层处理分布、复制、恢复及主键访问,数据库功能层再实现SQL和事务表达。公共模块为多服务提供内存、数据结构、锁、队列与网络能力,本章按基础设施到三个服务模块、再到消除集中增量瓶颈展开。
9.1 公共模块
公共内存池先控制归属、生命周期和可观测性,再考虑速度:全局固定大块,各模块细分,线程缓存降低共享路径争用,模块编号统计和调试填充值辅助排错。固定大小并不证明没有一切碎片,专用池也不总优于通用分配器,要依据真实负载判断。
哈希表按桶链处理冲突,以位锁节约元信息,按单元延迟初始化推迟大量桶清零。B树提供put/get和范围扫描,扫描先取句柄、设置开闭区间,再迭代取行;独立路径可并发修改,节点分裂可能把冲突扩到祖先。复制修改节点再发布指针减少对读者影响,多版本行通过追加单元与删除标记避免每次改索引,旧节点和版本仍需安全回收。
QLock以引用计数和写者标记协调共享/排他访问,先阻止新读者再等待已有读者可避免写饥饿。原文读锁只说原子加一、升级锁又省略本线程已持共享锁的特殊处理,均不是可直接实现的完整算法。这里只保留控制意图,不补造可运行锁代码。
任务可分到各工作线程,空闲时窃取其他队列;LightyQueue则让消费者占独立槽位等待生产者发布。网络线程收包入队、工作线程取包处理,分别调节并发。同步与异步请求区分等待方式,异步入队不等于远端成功。压缩接口暴露缓冲区容量、实际输出长度和最大扩张预算,动态库支持替换算法;完整签名和类关系只在原文明确支持处展示。
分层内存池兼顾复用与归属进一步说明机制和取舍。
分配接口分离线程缓存策略进一步说明机制和取舍。
填充值帮助暴露内存错误进一步说明机制和取舍。
桶锁粒度降低锁元信息进一步说明机制和取舍。
延迟初始化推迟启动成本进一步说明机制和取舍。
树分裂扩大写冲突范围进一步说明机制和取舍。
多版本追加保持键索引稳定进一步说明机制和取舍。
写锁意图阻止新读者涌入进一步说明机制和取舍。
分队列与窃取平衡任务进一步说明机制和取舍。
槽位等待减少全局争用进一步说明机制和取舍。
网络线程与处理线程分工进一步说明机制和取舍。
异步发出不等于远端完成进一步说明机制和取舍。
压缩插件需要输出容量契约进一步说明机制和取舍。
哈希接口围绕单键增删查补充原文API的实际用途与使用边界。
范围扫描句柄固定访问区间补充原文API的实际用途与使用边界。
9.2 RootServer实现机制
RootTable保存子表范围、副本位置和版本等元数据。读多写少时采用写时复制的有序数组,按批追加汇报、重新排序并发布,减少逐个子表全量复制。服务器汇报可能揭示已发生的分裂,控制视图要依据范围和版本校正;节点管理还记录状态、心跳和迁移信息,原书按每表子表数均衡是特定负载下经验,不替代容量、热点及故障域判断。
修复与均衡都生成迁移任务,但目的不同:修复增加不足副本,均衡在迁入成功后再回收多余源副本。任务先入队,再按每节点并发上限执行,避免空节点瞬间过载。独立副本以同输入同规则确定分裂点,按阈值直接切满容易留下大量小尾片;按行数和平均行长估算更均匀,但还要验证行长偏斜。合并则先让连续小片共置,再生成新范围和维护副本。
UpdateServer注册时汇报日志位置与租约状态,控制器从符合条件且最新的候选者中选择写主,旧租约未过期不另授。ObUpsManager维护ObUps数组和主索引,register_ups登记、check_lease检查、grant_lease续期、grant_eternal_lease延长维护授权;这里解释职责,不补造真实代码未给出的安全筛选细节。升级前长租约可维持写服务,却延后故障时安全接管。
RootServer主备传播路由、节点与写主信息,备机回放以保持状态。Linux HA让VIP漂移,帮助客户端继续使用同一入口,但VIP不等于旧主写权已失效;心跳超时、角色隔离、日志确认及接管必须在同一故障模型下成立。
批量写时复制摊薄排序进一步说明机制和取舍。
汇报范围校正控制视图进一步说明机制和取舍。
迁移计划与执行配额分离进一步说明机制和取舍。
确定性分裂依赖相同输入进一步说明机制和取舍。
等容量截断会制造小尾片进一步说明机制和取舍。
合并连续分片需先共置进一步说明机制和取舍。
升级长租约延后故障接管进一步说明机制和取舍。
访问地址漂移不等于写权隔离进一步说明机制和取舍。
9.3 UpdateServer实现机制
UpdateServer把所有表格近期变更放入共同MemTable和稀疏SSTable,区别于每子表分别组织基线和增量的Bigtable。写先进入操作日志,再进入活动表,表满则冻结并建立新表。专门提交线程安排日志序列,write_log只是拷贝缓冲,flush_log才执行同步和落盘,OB_BUF_NOT_ENOUGH触发先刷已有缓冲再继续;Direct IO减少缓存污染,不单独证明掉电持久。
MemTable的索引把行键指向列操作链,链保存更新与删除而非最终整行。哈希与B树可共同服务点查和范围,必须维护一致。ObCompactCellWriter的append编码列值,row_delete编码删除;连续存储多个Cell并共享指针减轻元信息,图9-4的编码格是语义示意,不能据标签格数认定变长中文只占一个字节。
读取先建立事务描述符,经get或scan取得迭代器,再用next_cell/get_cell遍历,is_row_changed区分跨行。批写则在事务上下文中反复start_mutation、set、end_mutation,最后结束整批,修改与批次提交是不同边界。冻结表尽可能留在内存,必须退到SSD前逐步让读取走SSTable以预热缓存,前提是版本相同且I/O预算允许。
Tbnet把收包和工作线程以队列连接,切换开销可能在小请求高QPS时成为瓶颈;Libeasy让短任务在网络线程就地处理,长任务另入队,并按连接热度迁移套接字所有权。书中性能数字和Linux版本是历史测量,不是现代框架排名,且epool应理解为相关事件多路复用背景,不据拼写补造接口。
主备日志正常推送到接收缓冲并回放,缺口则从主机拉取,主机先查缓存再查磁盘。ObReplayLogSrc的get_log按起点返回日志及下一游标,ObUpsLogMgr的slave_receive_log接收、replay_log消费和应用,游标连续性决定能否安全恢复。确认可配置WAIT_NONE、WAIT_COMMIT、WAIT_FLUSH,分别等待不同阶段;备机只存内存不等于双机都已持久,因此原文“完全无缝且几乎无成本”的结论必须限定故障模型。
日志缓冲与持久确认分层进一步说明机制和取舍。
行操作链保存修改历史进一步说明机制和取舍。
双索引服务点查与范围读进一步说明机制和取舍。
紧凑单元编码减少指针开销进一步说明机制和取舍。
迭代器返回单元而非整行进一步说明机制和取舍。
批事务包含可回滚修改单元进一步说明机制和取舍。
渐进读切换为磁盘缓存预热进一步说明机制和取舍。
短任务就地处理减少切换进一步说明机制和取舍。
连接重分配缓解线程偏斜进一步说明机制和取舍。
复制确认需区分内存与落盘进一步说明机制和取舍。
日志不连续时切换拉取源进一步说明机制和取舍。
9.4 ChunkServer实现机制
ChunkServer维护按范围与版本定位的子表,acquire/release引用保护读取期间对象,add可延迟加载,upgrade发布新版本或分裂结果,remove删除指定范围版本,delete_table删除整表,get_tablets_for_merge分批取合并任务。新版本出现不意味着旧版本已可立即释放,目录、文件和读者引用须分别处理。
SSTable把有序行存成块,块索引用End Key定位,块内行索引再找具体行,Trailer提供结构位置,过滤器与Schema作为配套元数据。稀疏行保存列ID和值,稠密行依Schema位置解释全部列,列组按共同访问字段组织,块级压缩在读时解压。Writer创建后按序追加,close再写完整尾部信息;Getter与Scanner以同一迭代接口向上层提供Cell。
块、行和块索引缓存复用底层Key-Value Cache:多个缓存项放入memblock,按块计数和近期活跃近似淘汰,以牺牲精确LRU换较少全局争用。引用计数延迟释放读者仍使用的块,但并非不需安全取得引用。热点失效由一个回填者占位,其他线程等待;原文get后set伪代码省略原子竞争和失败清理,不能按字面实现唯一加载者。
主动预热可按旧热点准备新文件缓存,却要承担双份空间;低谷切换且流量渐增时可被动预热,取舍依真实业务。Direct IO加异步双缓冲让一块数据被CPU消费时另一块预读,只有双方完成才交换所有权,快者等慢者是正确性条件。
大版本合并形成新的持久基线并发布版本,小版本分发只把冻结增量缓存到本地,仍需查询融合。合并任务按子表并行且限速,节点随机延后启动防止同时冲击UpdateServer,增量节点再按高低优先级输出带宽保护正常请求。多集群错峰需要同步和切流量条件,不是消除资源消耗。
引用持有保护读取中子表进一步说明机制和取舍。
SSTable用分级索引定位行进一步说明机制和取舍。
稀疏与稠密取决于缺列分布进一步说明机制和取舍。
SSTable写完还需封装尾信息进一步说明机制和取舍。
统一迭代接口隐藏读取来源进一步说明机制和取舍。
缓存成组淘汰减少链表争用进一步说明机制和取舍。
同键回填合并避免惊群进一步说明机制和取舍。
预热方案要计算双份空间进一步说明机制和取舍。
双缓冲重叠读取与计算进一步说明机制和取舍。
合并与分发改变不同状态进一步说明机制和取舍。
启动抖动与配额保护合并进一步说明机制和取舍。
9.5 消除更新瓶颈
消除集中更新瓶颈包括优化请求路径、压缩内存、分发旧增量,以及为批量导入提供专用路径。成组提交、紧凑编码、短任务网络处理等已经在前节展开;日志先占位后并发拷贝、多个缓冲写不同盘在本书时点仍未实施,不能作为已运行结果。占位不等于内容完整,跨盘完成不等于提交顺序。
旁路导入先离线排序并按范围生成SSTable,再并行复制到各基线节点,加载成功后汇报RootServer更新RootTable,失败副本重新选择位置补拷贝。它利用不可变有序文件减少集中写入,但仍需导入版本、范围与发布条件;原文未展开多机房完整协议,不自行补造。
进一步把更新按用户哈希或范围分区,可让不同UpdateServer服务不同用户,代价是事务范围随之改变:组内事务保留单点优势,跨组需要提交协议或较弱语义。这是书中未来方案,不冒充已实现线性扩展。机器和业务容量数字、人口类推及“OLTP性能总足够”不能证明任何实际部署永不瓶颈;应根据目标负载与峰值预算判断。
日志预留与拷贝可分离进一步说明机制和取舍。
并发日志盘仍须全局顺序进一步说明机制和取舍。
旁路导入先生成有序基线进一步说明机制和取舍。
实体组界定本地事务边界连接更新分区与事务边界的取舍。
第 10 章 数据库功能
数据库层把SQL和事务语义建立在分布式引擎之上。客户端协议兼容降低接入成本,真正功能仍由解析、计划、算子、锁和版本规则组成。本章对简单SQL、OLAP及特色功能的描述均限于写作时的OceanBase,不代表当前产品能力或通用SQL标准。
10.1 整体结构
MS-SQL解析协议和SQL,预处理名称、类型与权限,再生成逻辑和物理计划。只读请求拆到CS-SQL,基线融合增量后执行局部扫描、过滤、投影及聚合;MS再合并或关联。写事务所需基线与计划交给UPS-SQL,最终结合当前增量执行。职责分布说明为何协议相同仍需核对实际SQL与事务支持范围。
查询计划区分意图与执行进一步说明此处的机制与边界。
原书依据 · 1 处
10.2 只读事务
逻辑计划表达查询意图,物理计划选择扫描、过滤、分组、排序、投影、分页及连接的实现。算子树中孩子输出是父输入,通过open、逐行get_next_row和close组合;行对象按表列ID或下标访问。逐行接口不表示排序等算子无需先收集数据。原文有一处非聚合排序列与分组示例未交代合法性,图10-2及10-3的算子结构用来解释路径,不充当可执行SQL验收。
内存装不下时排序先生成有序段再多路归并;分组和去重可用排序或哈希,哈希桶内额外排序只是本书实现方案。连接按相同键配对,左外连接还须保留未匹配左行,内连接只保留匹配结果;原文仅列这两类名称,没有展开更多连接策略。IN改写要防右侧重复放大结果,常量集合可下推。
本地化把能合法局部完成的工作尽量放到数据节点,减少传输。跨分片聚合需合并状态,avg传sum和count,HAVING在完整组结果上判定;排序归并、去重和Limit也必须维护全局语义,不能各片随意分页后拼接。
算子树按行拉取结果进一步说明此处的机制与边界。
外排序把内存段归并进一步说明此处的机制与边界。
连接算法按相同键配对进一步说明此处的机制与边界。
子查询改写须保留重复语义进一步说明此处的机制与边界。
局部聚合须保留合并状态进一步说明此处的机制与边界。
10.3 写事务
写入条件建立在基线加最新增量的状态上,而不是代理预读的旧基线。单行存在性、条件更新和多行子查询是不同难度;后者还涉及范围和锁覆盖,原文没有完整展开其实现。REPLACE和未命中行错误等表述不是通用MySQL语义,本笔记不据旧实现推定当前行为。
MVCC把未提交与已提交操作链分开。并行执行线程准备变更,单线程排列提交、记录日志并发布,读者按相应版本过滤。原文用固定读版本说明快照,又称默认RC,不能据该例认定所有事务都提供事务级可重复读;隔离语义须以实际语句和事务边界解释。多行锁保持至提交,SELECT FOR UPDATE可保护转账中的检查和修改,但相反锁序仍会死锁,超时回滚是本节给出的解除办法。备机可并行预回放,再按正确提交边界发布。
条件更新基于融合后状态进一步说明此处的机制与边界。
并行预提交后统一发布进一步说明此处的机制与边界。
显式行锁保护转账读取进一步说明此处的机制与边界。
转账相反锁序导致死锁进一步说明此处的机制与边界。
超时回滚打破转账等待进一步说明此处的机制与边界。
并行回放仍需提交边界进一步说明此处的机制与边界。
10.4 OLAP业务支持
OLAP把较大查询拆分并发执行,multiget按服务器聚合点查,再收集和合并部分结果。请求事件唤醒等待者处理,最终完成要考虑所有分支;重试也受总截止时间和版本约束。大量结果集中到MergeServer仍会瓶颈。列组允许行列混合和重叠存储,但应同时看磁盘字节、内存表示、解码和CPU成本,不能把列式布局当作任何查询必然提速。
扇出查询受汇总节点限制进一步说明此处的机制与边界。
列组可用重叠换少次读取进一步说明此处的机制与边界。
10.5 特色功能
收藏业务把较稳定商品属性冗余到基线,近期商品变化只存增量,读取融合两侧,定期合并刷新冗余,折衷关联读与更新扇出。过期和批量删除通过读取规则先过滤,再在每日合并回收字节;错误批次可按时间范围规则隐藏,仍需核对选择范围以免误删。原文保留近期数据的时间比较方向需谨慎解释。本EPUB将10.5.1和10.5.2完整重复两遍,已读两遍、只判断一次,不重复生卡。
基线冗余与增量连接折衷进一步说明此处的机制与边界。
过期规则先影响可见性进一步说明此处的机制与边界。
第 11 章 质量保证、运维及实践
质量、使用和运维是存储产品持续演化的条件。开发、QA和试运行分别暴露不同问题,系统表把内部状态交给工具观察,真实业务检验前面架构的适用范围。案例和经验都限于本书历史阶段,不用旧指标证明当前产品能力。
11.1 质量保证
质量保证从编码和接口设计开始,不由测试团队单独兜底。资源释放、错误处理、可测性和审查降低后期排障成本;单出口、禁异常和禁部分库是当时团队策略,不能泛化为跨语言规范。快速测试用执行快的代表用例检查基本行为,单元、接口、功能、容灾及规模压力逐层补充。
校验列可发现值损坏,但需要跨行关系或独立集合才能识别整行丢失;参考数据库差分需语义对齐,大查询需专门触发跨片路径。故障脚本用原主/新主和预期结果验证切换,单看地址变化不足以证明无损。性能基线要固定负载,压力倍数只是探索手段。
兼容测试还覆盖主备混合版本和回滚。上线前业务压测或真实请求回放补充合成负载,迁库灰度双写要比对差异,逐步引读、切写主都需失败处置。原文2到5倍压力即可稳定、所有异常总可复现等语句不能作为证明。
质量门禁贯穿研发到上线进一步说明此处的机制与边界。
资源释放要覆盖全部出口进一步说明此处的机制与边界。
审查同时覆盖接口与逻辑进一步说明此处的机制与边界。
测试不变量应覆盖缺行进一步说明此处的机制与边界。
差分测试需要语义对齐进一步说明此处的机制与边界。
故障测试还要核对数据结果进一步说明此处的机制与边界。
压力倍数不是稳定性证明进一步说明此处的机制与边界。
升级兼容包含混合版本进一步说明此处的机制与边界。
真实流量回放补充场景测试进一步说明此处的机制与边界。
迁移双写还需持续对账进一步说明此处的机制与边界。
11.2 使用与运维
兼容客户端可用统一连接、查询和结果接口接入,JDBC/DataSource或C库仍有初始化、结果迭代及释放生命周期。原书拼写、旧库配置和不支持db的说明属于历史实现,不直接当当前接入教程。系统表提供数据字典、角色、配置和性能状态,监控需同时说明单位和范围;跨天对比有用,但还应观察尾部及异常请求。
系统表提供可运维状态进一步说明此处的机制与边界。
客户端接口也有资源生命周期进一步说明此处的机制与边界。
11.3 应用
收藏夹依赖范围、排序和商品属性关联,评价遇到少数大商品范围,报表则包含多维组合聚合和离线批量导入。它们分别说明冗余增量连接、范围分裂并发、列组与批量查询如何服务不同负载。CTR和CPC在本节只作为业务指标名称,不补造本书未给的计算口径;历史200TB、1TB/天及毫秒数据不是通用采用标准。
业务访问形态决定存储匹配进一步说明此处的机制与边界。
原书依据 · 1 处
11.4 最佳实践
平台从具体问题起步,接入更多业务检验通用性,再完善标准接口和运维,长期优化才能摊薄基础设施成本。组织人数和研发年限是经验,不是必然规律。导师帮助新人连起设计、代码及文档,架构学习应追问参数和失败处理,而不是复刻论文图。
设计须匹配业务与团队能力,并明确模块、数据结构、接口、错误和验证方法;资源分配、线程、连接及异常监测要有预算。自动化需要协议能作出安全决定,不能因用了同步复制就忽略持久确认和旧主隔离。开发参与运维有助把实际摩擦反馈,兼容性则减少多版维护。
错误随规模和新业务暴露时应保存证据、假设和可观测状态,不能只当小概率放过;原文“必然出现/复现”等属于警示。先有正确可测基线,再优化高频瓶颈,简单性服务于可理解与可控制,不是忽略困难条件。
平台通用化来自真实复用进一步说明此处的机制与边界。
导师责任连接设计与文档进一步说明此处的机制与边界。
读论文要追问设计约束进一步说明此处的机制与边界。
设计要落到可测关键细节进一步说明此处的机制与边界。
运维反馈需要开发参与进一步说明此处的机制与边界。
兼容性减少版本维护分叉进一步说明此处的机制与边界。
低概率缺陷也应保留证据进一步说明此处的机制与边界。
先稳定后优化保持因果清楚进一步说明此处的机制与边界。
第四篇 专题篇
专题篇把前面存储机制放到云服务和大数据处理中,分别讨论资源如何按需交付,以及多节点怎样承担计算。
第 12 章 云存储
云存储是将存储能力作为网络服务交付,不仅是把磁盘放到远端。本章用早期服务和平台架构解释资源池、产品接口、托管运行及安全责任,旧产品名称和能力都需按出版时理解。
12.1 云存储的概念
设备经分布式软件组织成资源池,再由统一接口向授权用户分配,是硬件、系统和服务三个层次。资源与运维都要能扩展,可靠性依靠复制恢复,动态分配提高利用率,但没有取消配额、网络限制与故障。原文对传统存储全无自动化或只能本地的归类过强,此处只比较静态分配和托管弹性的思路。
资源池与对外服务分层进一步说明此处的机制与边界。
运维能力也是扩展维度进一步说明此处的机制与边界。
12.2 云存储的产品形态
对象API分桶和对象操作,列举需分页,大对象可初始化分段上传、逐段提交、完成或中止;完成前各段不等于已发布完整对象。个人云盘在此基础上提供同步分享,企业则可能强调备份归档,服务层次不同。旧SOAP、BitTorrent、分页上限、元数据MD5和大对象上限不作为当前S3能力表,上传ETag等也不能无条件当MD5。
对象接口区分桶与数据进一步说明此处的机制与边界。
分段上传需要显式收尾进一步说明此处的机制与边界。
云盘是存储服务上的产品进一步说明此处的机制与边界。
12.3 云存储技术
云端与终端同时决定可用体验:硬件和分布式协议提供容量及恢复,网络带宽和往返影响访问,浏览器和移动客户端提供跨端交互,认证加密控制访问。Flash、Silverlight、ADSL速率等是历史背景,不作为当前技术建议;CDN和P2P也不是所有云服务必须采用的机制。
云端价值依赖终端和网络进一步说明此处的机制与边界。
原书依据 · 1 处
12.4 云存储的核心优势
成本由设备、网络、能源和管理组成,共享池可利用不同时峰,提高平均资源使用率,自动化降低每节点管理量。收益取决于峰值相关性、扩容时间、故障预算及价格,旧表格和30倍估算不能普遍套用。PUE比较总能耗与IT能耗,不能代替应用效率。托管缩短基础设施准备时间,有助把精力投向业务,但依赖成本与服务边界仍需管理。
错峰共享不等于无限容量进一步说明此处的机制与边界。
PUE衡量基础设施能耗比进一步说明此处的机制与边界。
12.5 云平台整体架构
IaaS、PaaS和SaaS从基础资源、运行环境到业务软件分配不同管理责任。早期AWS、GAE和Azure架构共同包含路由、实例组、持久存储、缓存和公共服务;厂商产品目录不是永久单一分类。实例扩缩、服务就绪及路由需协同,本地暂存与网络持久存储的故障范围不同,不能由EBS产品名推断任意故障都无损。
GAE示例以沙箱限制运行时间和系统资源,Azure示例以不同Role承担前台和后台。语言列表、Windows Server版本和旧接口限制均是历史形态;原文一处Metastore与前章Megastore名称不一致,不作为新的产品或依赖关系。消息解耦处理,队列与订阅按分发目标不同,不能据此推断恰好一次。
存储访问层包装API、认证、授权及计量,底层仍负责数据放置和复制。公共安全、资源调度、计费和运维依赖监控,既观察主机也观察租户实例与请求。入口封装不改变底层数据保证,自动化也仍需要明确失败时状态。
服务层级改变管理责任进一步说明此处的机制与边界。
弹性实例需要路由协同进一步说明此处的机制与边界。
沙箱约束租户运行行为进一步说明此处的机制与边界。
消息服务分离前后台处理进一步说明此处的机制与边界。
计量维度决定成本解释进一步说明此处的机制与边界。
12.6 云存储技术体系
硬件、本地存储、分布式存储和访问层各处理不同粒度的责任:设备及单机优化决定基础成本,复制、路由和恢复建立多节点服务,访问层加入租户及接口。运行平台还可选择虚拟机、语言容器或分布式任务,不是简单在存储上按顺序增加同一功能。Borg、Xen、KVM等在图中主要列名,未展开内部机制。
云访问层包装底层能力进一步说明此处的机制与边界。
原书依据 · 1 处
12.7 云存储安全
云化使信任边界跨越租户、提供商和管理员,网络暴露及多租户共享增加需要验证的路径。认证证明凭证,授权限制资源操作,审计保留访问证据,网络防护及隔离降低不同风险,备份、加密和校验分别支持恢复、保密及完整性。不能由大厂或专职团队推导绝对安全,也不能假定企业内网无风险。
请求签名须按具体协议对请求表示计算并核验,原文“查询预存数字签名”过度简化。2026-10-27核对AWS签名官方说明:SigV4基于规范请求和待签字符串,派生签名密钥后计算认证码。此处只校正原理,不给当前部署配置指南。旧SSL术语和Xen平台描述不当作当前安全建议;删除可见性、全部副本清除与备份保留也须分别明确。
认证与授权回答不同问题进一步说明此处的机制与边界。
请求签名绑定凭证与内容进一步说明此处的机制与边界。
备份加密与校验分担风险进一步说明此处的机制与边界。
第 13 章 大数据
大数据处理从“把数据存下来”继续走向“如何计算并理解数据”。本章依次比较离线批处理、持续流处理与交互分析:它们对输入是否封闭、延迟和输出规模的要求不同,因此需要不同的协调方式。MapReduce是其中一种执行模型,不能代替整个问题领域。
13.1 大数据的概念
4V分别表示容量、类型多样性、增长与处理速度、价值密度。四项共同决定工作负载:视频容量大却可能只有短暂片段有用,及时处理与识别有效信息同样重要。管理负责承载和计算,理解涉及分析规则与模型,应用再把结果反馈到产品。书中数据增长率、市场判断与当时Hadoop的功能描述保留为历史语境,不当作当前容量定律或产品能力边界。分类、聚类、协同过滤等只作研究方向登记。
四种约束共同定义数据问题进一步说明此处的机制与边界。
原书依据 · 1 处
13.2 MapReduce
MapReduce用Master管理任务,Map从输入分片生成中间键值对并按分区函数落本地,Reduce拉取分区、把同键值归组、执行用户函数并写出结果。Shuffle是交换数据,排序或哈希归组是组织同键集合,二者职责不同。数据本地化减少网络读取;对拖尾任务启动备用执行减少最慢任务对整体的影响。重复执行须有有效输出选择,不能自然推出任意业务副作用只执行一次。图13-1与这条数据路径一致。
洗牌把相同键送往同组进一步说明此处的机制与边界。
计算靠近数据减少搬运进一步说明此处的机制与边界。
备份任务缩短拖尾等待进一步说明此处的机制与边界。
13.3 MapReduce扩展
Tenzing把SQL解析、元数据读取与优化放在查询服务器,把物理计划转为一组MapReduce作业,由常驻Worker池执行,减少进程启动成本。选择对应过滤;集合投影还需去重,不能直接套到保留重复行的SQL投影。分组聚合可用哈希表,要求同键汇合但未必要求键全局有序。连接策略在重新分区、内存哈希、索引远程查找和小表缓存之间取舍;同键多行需保留完整匹配组合,三个MR作业只是书中某种Hash Join组织方式。
Dryad用有向无环图表达多阶段任务与数据通道,避免每两步都硬写到分布式文件系统;容错需要调度和输出提交约束,不能把管道等通道一概说成完成后才传输。Pregel则面向图迭代:顶点处理上一超步消息,发送结果,再同步进入下一步。最短路径示例以全体不再改善为终止条件;检查点让失败后能恢复到一致轮次,不能泛化为所有图算法必然收敛。图13-2至13-4分别展示执行池、任务图与超步屏障。
Tenzing将查询编译为作业进一步说明此处的机制与边界。
投影去重取决于集合语义进一步说明此处的机制与边界。
哈希聚合只要求同键汇合进一步说明此处的机制与边界。
连接策略决定数据搬运进一步说明此处的机制与边界。
Dryad用任务图连接计算进一步说明此处的机制与边界。
Pregel以超步组织图迭代进一步说明此处的机制与边界。
13.4 流式计算
流处理面对持续到达的输入,按窗口聚合、过滤或去重,主要关注处理延迟。把事件攒成批次时,小批会放大调度开销,大批会增加等待,必须按延迟要求权衡。状态节点失效后,继续处理还是等待恢复取决于容错和结果修复协议,不能仅由“可用性优先”保证结果正确。
S4的PN包含事件监听器、PE容器、分发器及输出器,按事件类型和键选择处理元,再由通信层路由到逻辑节点。ZooKeeper维护逻辑到物理的映射。书中S4切到备用节点会丢内存状态,所以可恢复路由并不等于可恢复计算;广告等可容忍损失的历史背景不能直接搬到资金或精确计数任务。图13-5和13-6展示了流转和内部组件。
流计算围绕持续输入和窗口进一步说明此处的机制与边界。
S4用事件键路由处理元进一步说明此处的机制与边界。
13.5 实时分析
实时分析可利用预计算,也可现场并行扫描与连接:前者适合固定模式,后者更适合灵活查询,但还有维护成本与数据新鲜度之别,原文“只能”并非穷尽现代方案。MPP节点不共享内存,需以网络交换连接数据。Gather集中结果,Broadcast复制到多个节点,Redistribute按键重新分区。连接A.x=B.y应按A.x和B.y分区,原文B.x是字段不一致;查询失败可整次重试是一种恢复策略,不能理解为无须考虑故障。
历史Greenplum以Master规划、Segment存储执行,优化器将网络和全局分布纳入代价;图13-12中小表广播与连接结果重分布说明数据放置怎样影响后续算子。Vertica以WOS接写、后台转入排序压缩的ROS,并以多个覆盖不同列及排序次序的Projection服务查询。列式布局减少无关列读取,压缩再按基数和顺序选择,不能从类型机械推定最优算法。
Dremel让叶节点扫描,结果逐层向根汇总;适合能沿树缩小的结果,根仍是输出边界。MapReduce多个Reduce可直接分别写出大结果,这与汇聚小结果的目标不同。书中公司归属、版本接口和秒级数据均限定为历史材料,未作为当前产品承诺。图13-9至13-14已逐一读取。
查询灵活性影响预计算收益进一步说明此处的机制与边界。
并行查询须管理数据交换进一步说明此处的机制与边界。
并行优化计入网络成本进一步说明此处的机制与边界。
Vertica分开读写优化存储进一步说明此处的机制与边界。
多映射用冗余换排序选择进一步说明此处的机制与边界。
压缩选择依赖列值分布进一步说明此处的机制与边界。
Dremel逐层汇聚小结果进一步说明此处的机制与边界。
参考资料
以下按硬件、存储、分布式协议及应用分类列出书末参考资料。它们提供回溯入口,未新增机制讲解;资料完整题名保存在概览引用文献表。旧网址仅照录,不代表当前可用或已读取外部正文。
硬件基础
本组列出参考文献[1]—[3],与前述硬件基础主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
存储系统
本组列出参考文献[4]—[16],与前述存储系统主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
分布式系统
本组列出参考文献[17]—[36],与前述分布式系统主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
分布式文件系统
本组列出参考文献[37]—[42],与前述分布式文件系统主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
分布式键值系统
本组列出参考文献[43]—[50],与前述分布式键值系统主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
分布式表格系统
本组列出参考文献[51]—[56],与前述分布式表格系统主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
分布式数据库
本组列出参考文献[57]—[60],与前述分布式数据库主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
OceanBase
本组列出参考文献[61]—[63],与前述OceanBase主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
云存储
本组列出参考文献[64]—[75],与前述云存储主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
离线分析
本组列出参考文献[76]—[83],与前述离线分析主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
OLAP
本组列出参考文献[84]—[90],与前述OLAP主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
流式计算
本组列出参考文献[91]—[96],与前述流式计算主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
其他
本组列出参考文献[97]—[99],与前述其他主题相对应。这里只给出作者、题名、年份或旧网址,没有继续解释原理;各条已登记到概览,未因题名或评价另生成知识卡。已有正文的相关卡仍保留原有讲解位置。
跨章综合
跨章联系首先体现在“布局改变后,正确性责任仍须跟上”。第2章用日志、内存表与有序文件说明同一份逻辑数据可有多种物理表示;第8—10章把基线与增量落实到OceanBase,读操作须融合版本,合并也须先完成文件和版本发布才能切换。第13章的多映射和列布局同样用额外结构换取查询收益,但不能省去维护成本。
第二条联系是控制视图与真实数据的分离。第3章的故障、复制和共识问题在第4—7章具体体现为主控元数据、缓存路由、租约和副本状态,在第9章又体现为心跳、汇报、迁移及合并。知道节点活着不等于它持有最新数据,控制端准备了新计划也不等于数据已可安全服务;因此必须明确每次发布的前置条件和旧状态退出时机。
第三条联系是计算与存储不能各自只看局部成本。第2章的随机访问、顺序I/O和缓存影响第10章的执行算子,第13章的Shuffle、广播和汇聚又加入网络与根节点压力。局部算得快不保证全查询快;预计算、冗余列组和小表缓存减少请求时成本,同时增加空间或维护工作。
最后,系统保证必须以故障模型和业务结果检验。第2章转账超时示例说明响应丢失会让结果未知,第10章的转账锁序说明单个事务有锁仍可能死锁,第11章则用不变量、差分、迁移对账与故障切换把这些风险变为可观察对象。云服务封装和流处理备用节点切换也不能自行补足结果保证。全书最可迁移的方法是从访问模式、状态边界和失败后果出发选择机制,再用工程证据确认其范围。
发散与实践
以下是读者延伸的实践计划,交付计划与首轮材料,不表示已执行实验或完成全部源码阅读。
优先进行深读LSM写入与恢复(ideas/idea-001-深读LSM写入与恢复.md;入口见概览实践表):固定LevelDB 1.23,已核验项目、标签与入口,并查看写入、查询、内存切换片段,后续把日志、可见性、文件发布与恢复的边界连起来。然后使用按输出边界比较计算模型(ideas/idea-002-按输出边界比较计算模型.md;入口见概览实践表),以本批笔记的重建和交互统计为对象,沿统一维度比较MapReduce与Dremel;首轮材料已区分确认事实与待查项。
没有选择自行重做存储引擎、部署大规模集群或按旧价格选云服务:前两项成本高且成熟资料足以回答当前理解问题,后一项必须另有当前需求和价格证据。资金超时及死锁可后续用于既有测试案例观察,本次不凭历史示例执行真实转账干预;与日志恢复有关的故障阅读合并在第一张实践内,避免重复立项。