此笔记位置已失效,请从目录继续阅读。
全书导读
《数据存储架构与技术(第2版)》系统讲解数据存储从底层介质到上层架构与前沿趋势的完整体系:先建立数据存储的背景与目标,再自下而上覆盖存储介质、存储阵列、存储协议、键值存储与文件系统,随后展开网络存储、分布式存储、可靠性、安全、数据保护、运维与行业解决方案,最后展望存内计算、持久内存、在网与智能存储等前沿方向。全书以原理为主、兼顾工程实践,适合希望建立数据存储系统全景认知的读者。
全书主线
主线可概括为“介质—系统—网络—分布—保障—运维—趋势”七层递进:以存储介质与阵列为物理与局部基础,以协议与键值/文件系统为访问与组织方式,以网络与分布式存储放大规模与共享能力,再以可靠性、安全、数据保护与运维构成数据“存得稳、存得安全、可恢复、可管理”的保障环,最终落到行业方案与前沿趋势。
1 数据存储的背景
第1章界定数据存储的内涵与价值,并指出其四大目标。数据存储是将信息保存在介质上供后续读取的技术,从远古结绳演变为当代磁盘加存储软件的体系;2025年数据总量预计达181 ZB,凸显其底座地位。其重要性体现在促进经济发展(Gartner预测全球存储市场1500亿美元)、提升社会治理(大数据依托采集—存储—分析链路)与助力科研突破。为达成目标,需在硬件与软件协同下追求高性能(吞吐率与延迟)、高易用性(块/键值/文件三类接口与共享)、高可靠性(多副本与纠删码冗余),以及高性价比、安全、可扩展等其他目标。
本章卡片: - 数据存储的时代意义 - 数据存储的经济发展价值 - 高性能:吞吐率与延迟 - 数据局部性原理 - 三种存储接口 - 高可靠性靠冗余
2 存储盘与存储介质
第2章介绍主流存储盘与介质的物理原理与关键机制。存储介质按物理效应分为磁、电、光三类;磁盘作为磁存储代表,温盘封装与巨磁阻技术奠定现代形态,其性能由寻道、旋转、传输、控制器四部分延迟决定,固件通过LBA→CHS/PBA映射与FCFS/SSTF/SCAN等调度优化。SSD采用闪存,受写前擦除与有限擦写寿命约束,依靠FTL的地址映射、垃圾回收(带来写放大)与磨损均衡管理。主存以DRAM为主,靠1T1C单元与多级层次组织,并因电容电荷逃逸需破坏性读出与定期刷新。
本章卡片: - 三类存储介质 - 磁盘发展里程碑 - 磁盘访问延迟 - 磁盘固件地址映射 - 磁盘调度算法 - 闪存写前擦除 - FTL与写放大 - DRAM结构与层次 - DRAM刷新机制
3 存储阵列
第3章《存储阵列》系统讲解外置存储阵列的硬件架构、软件架构,以及高性能与高可靠性设计。硬件上,阵列以引擎(双/多控制器共享硬盘框)为基本单位,由控制器、接口模块、硬盘框与单元、散热与电源等构成,并通过硬盘框扩展实现容量纵向扩展(Scale-up)、控制器扩展实现性能横向扩展(Scale-out)。软件核心是RAID子系统(条带化与各级别容错、写洞、空间虚拟化)与缓存镜像子系统(局部性加速、镜像与掉电保护)。高可靠与高性能设计则围绕控制器冗余切换的层次化指标、缓存镜像/持续镜像,以及非均衡(AP)与均衡(AA,含部分/全对称)集群架构展开,整体回答了“如何以不可靠硬件提供高可靠、高性能、易管理的存储服务”这一主线。
本章卡片: - 存储阵列的整体形态 - 控制器模块的数据镜像 - 接口模块的分类 - RAID条带化与容错差异 - RAID写洞与NVRAM修复 - 缓存镜像的局部性原理 - 掉电缓存与保险箱盘 - 高可靠冗余切换层次 - 均衡架构与非均衡架构
4 存储协议
本章以“块协议 + 链路承载 + 内存互连”三层脉络展开。SCSI是经典块协议,含设备指令集(SBC/SSC)、共用指令集(SPC)、架构模型(SAM)与链路映射四层,以启发器/目标设备C/S模型及总线号/设备号/LUN三级寻址互连,读写经CDB与DMA完成。链路承载:SAS串行专用链路兼容SATA,FC五层结构支撑SAN三拓扑,iSCSI借TCP/IP以太网。NVMe专为SSD高速介质设计,以PCI-e直连、多队列(SQ/CQ)与Doorbell突破传统开销;NVMe-oF再承载到RDMA/FC/TCP网络。CXL以缓存一致性互连实现内存池化,用io/cache/mem三类接口适配不同设备。
本章卡片: - 存储协议的分类 - SCSI标准体系架构 - SCSI三级寻址 - SCSI块设备指令集 - SAS协议层次架构 - FC协议与网络拓扑 - iSCSI协议原理 - NVMe的诞生动机 - NVMe多队列模型 - NVMe over PCI-e交互 - NVMe over Fabrics - CXL三类接口
原书依据 · 12 处
- 存储协议 第4章 存储协议 · 查看原书依据
- 存储协议 4.1.1 SCSI协议概述 · 查看原书依据
- 存储协议 4.1.2 SCSI服务模型 · 查看原书依据
- 存储协议 4.1.3 SCSI指令集 · 查看原书依据
- 存储协议 4.2 SCSI链路承载协议 · 查看原书依据
- 存储协议 4.2.2 FC协议 · 查看原书依据
- 存储协议 4.2.3 iSCSI协议 · 查看原书依据
- 存储协议 4.3 NVMe协议 · 查看原书依据
- 存储协议 4.3.2 NVMe队列模型 · 查看原书依据
- 存储协议 4.3.4 NVMe over PCI-e · 查看原书依据
- 存储协议 4.4 NVMe over Fabrics · 查看原书依据
- 存储协议 4.5.1 CXL协议概述 · 查看原书依据
5 键值存储
本章围绕键值存储系统展开。首先定义键值存储以全局唯一的键和语义不透明的值为基本单位,是 NoSQL 家族重要成员,常在存储服务器、文件系统与数据仓库中作底层组件。基本操作包括 put/get/delete,并可细分为 insert/update,扩展接口有批量、范围、持久化、快照与事务等以换取性能或表达力。为保证持久性,更新分原地更新(地址不变、无回收开销但怕多块更新)与异地更新(日志结构,顺序写友好但需垃圾回收)。当更新涉及多块时,崩溃一致性成为核心问题:WAL 用两次写保证原子与持久,重做日志需预知全部块、可合并 I/O 但欠灵活,回滚日志不必预知但性能较弱;影子页则以写时复制与原子指针切换规避日志,却可能级联修改多级页。
本章卡片: - 键值存储的定义 - 键值存储基本操作 - 原地更新与异地更新 - 日志结构的数据组织 - 用WAL保证崩溃一致性 - 影子页写时复制
6 文件系统
本章介绍文件系统的基本概念与单机实现。文件系统为屏蔽外存细节、支持多任务可靠共享而设计,其职责分命名空间(按名存取)、存储管理(空间分配与地址映射)、高级特性(共享、保护、一致性)三方面。基于磁盘的简单文件系统将磁盘划分为超级块、inode 区与数据区,目录作为特殊文件以“文件名→inode 号”映射组织成树。命名空间以目录树管理,支持绝对/相对路径,并通过挂载并入全局唯一命名空间。存储管理中数据块分配有连续(索引快、易碎片)、链式(增删易、随机差)、索引(折中、小文件有额外开销,大文件用多级间接索引扩展)三种策略。ext2 作为实例,以 15 个 inode 指针(12 直接+三级间接)寻址,1 KB 块下单文件上限约 16 GB,体现了小文件零跳转、大文件靠间接层的设计平衡。
本章卡片: - 文件系统的设计动机 - 文件系统的三大功能 - 简单文件系统的磁盘布局 - 目录树命名空间管理 - 文件空间三种分配方式 - ext2的多级索引
7 网络存储体系结构
本章沿“存储网络化”的历史进程展开:单一磁盘阵列解决了单机容量与性能,却未解决系统级的扩展、稳定与共享。随着SCSI、FC等协议发展,存储必然走向网络,演进主线是“解耦物理硬件与逻辑管理、并支持横向扩展”。起点DAS直连单机、无法共享扩展;集中式网络存储分叉为NAS(文件级共享)与SAN(块级池化);对象存储融合二者优势面向大规模集群;并行存储以分布式文件系统破解HPC的“存储墙”;P2P以去中心化实现弹性与隐私;云存储以服务化整合分布式与虚拟化;最终落于存储虚拟化这一技术基础,并延伸出SDS与超融合HCI。全书以访问接口、扩展性、成本与管理复杂度的取舍为维度,为理解现代数据中心存储体系提供完整框架。
本章卡片: - DAS直连存储的适用边界 - NAS文件级共享卸载 - SAN块级访问与IP-SAN - 对象存储的三类核心组件 - 并行存储破解存储墙 - P2P去中心化的特性 - 云存储的服务化架构 - 公有云私有云混合云对比 - 存储虚拟化的带内与带外 - SDS软硬件解耦 - 超融合HCI的融合本质 - 网络存储体系结构演进
原书依据 · 12 处
- 网络存储体系结构 7.1 DAS · 查看原书依据
- 网络存储体系结构 7.2.1 架构特点 · 查看原书依据
- 网络存储体系结构 7.3.1 架构特点 · 查看原书依据
- 网络存储体系结构 7.4.2 核心组件 · 查看原书依据
- 网络存储体系结构 7.5.2 关键技术 · 查看原书依据
- 网络存储体系结构 7.6.1 架构特点 · 查看原书依据
- 网络存储体系结构 7.7.1 架构特点 · 查看原书依据
- 网络存储体系结构 7.7.2 应用场景 · 查看原书依据
- 网络存储体系结构 7.8.1 基本概念 · 查看原书依据
- 网络存储体系结构 7.9 软件定义存储 · 查看原书依据
- 网络存储体系结构 7.10.1 基本概念 · 查看原书依据
- 网络存储体系结构 网络存储体系结构 · 查看原书依据
8 分布式存储系统
第8章系统梳理分布式存储系统:先给出“协调服务器—存储服务器—应用服务器”的典型架构与性能、可扩展性、一致性、可用性四类衡量指标,再按接口类型展开四类系统。分布式键值存储以键值对无依赖换来易扩展、低延迟,Dynamo 以向量时钟解冲突、RAMCloud 以日志副本求低延迟;对象存储以 Swift 一致性散列、Ceph CRUSH 做数据分布;块存储以虚拟磁盘兼容单机应用;文件系统以数据/元数据分离组织。各系统又配套副本、二级索引、负载均衡等关键技术,整体呈现“分散存储+冗余+协调”的设计主线。
本章卡片: - 分布式存储三类角色 - 尾延迟决定可见延迟 - 一致性三等级递减 - 超时机制的权衡 - 键值存储扩展优势 - 向量时钟追踪因果 - Raft日志复制机制 - 一致性散列减迁移 - 块存储作虚拟磁盘 - 文件系统元数据分离
原书依据 · 10 处
- 分布式存储系统 8.1 分布式存储系统的典型架构 · 查看原书依据
- 分布式存储系统 8.2.1 性能 · 查看原书依据
- 分布式存储系统 8.2.3 一致性 · 查看原书依据
- 分布式存储系统 8.2.4 可用性 · 查看原书依据
- 分布式存储系统 8.3 分布式键值存储系统 · 查看原书依据
- 分布式存储系统 8.3.1 典型分布式键值存储系统 · 查看原书依据
- 分布式存储系统 8.3.2 分布式键值存储系统关键技术 · 查看原书依据
- 分布式存储系统 8.4.1 典型分布式对象存储系统 · 查看原书依据
- 分布式存储系统 8.5 分布式块存储系统 · 查看原书依据
- 分布式存储系统 8.6 分布式文件系统 · 查看原书依据
9 存储可靠性
第9章围绕存储可靠性展开:先界定可靠性概念与 MTTF/MTTR/MTBF/MTTDL/AFR 等指标,并区分可靠性(无故障持续运行概率)与可用性(正常时间占比);再从模块级、系统级、方案级三层给出设计框架。介质层分析 HDD 浴盆曲线与 SSD 的 P/E、保存时间、编程/读干扰等错误源及 RBER 衡量;系统级冗余以多副本与纠删码(含 RS、LRC、阵列码等)为核心,对比二者在容量、写惩罚、重构上的权衡;最后落到分布式系统的数据冗余、心跳故障恢复、一致性协议与负载均衡等可靠性保障技术。
本章卡片: - 存储可靠性背景 - 可靠性衡量指标 - 三层可靠性设计 - 可靠性非可用性 - 硬盘浴盆曲线 - SMART健康预警 - 闪存RBER与错误源 - 多副本冗余原理 - 纠删码低冗余容错 - 多副本对比纠删码 - 心跳检测主从恢复
原书依据 · 11 处
10 存储安全
第10章围绕存储安全展开,先以Shield系统为例把安全需求拆成系统安全、数据安全、安全管理三个维度。系统安全从硬件可信根出发构建可信链(TrustZone/SGX/SEV/TDX等隔离技术),并涵盖容器安全与系统韧性四目标;数据安全是核心,包括对称/非对称加密、文件层与存储层加密、散列与MHT完整性验证、数字签名、权限管理与可搜索加密、安全销毁及TEE/同态加密等安全计算;安全管理则落到集中认证、双因素认证、RBAC与三权分立、PKI证书与三层密钥管理、IPDRR框架与可信启动/远程证明。全章强调:安全需分层防御、可恢复、可验证,且机密性、完整性、可用性须协同保障。
本章卡片: - 存储安全的三维度 - 硬件可信根与可信链 - 系统韧性的四个目标 - 对称与非对称加密的区别 - 散列编码与MHT完整性 - 可搜索加密技术 - 数据安全销毁方法 - SGX飞地的隐私保护
11 数据保护
第11章系统介绍数据保护。先界定其两重含义——数据内容安全(密码学保障机密性/完整性)与数据防护安全(存储技术保障业务可用),并对比国际Share78八级与国标GB/T 20988六级的差异。随后以RPO/RTO两个指标刻画容灾需求,展开系统内的保护技术:镜像(创建/同步/分裂)、快照(CoW与RoW写方案)、克隆(与快照区别及分裂独立性),以及系统外的三大场景——备份(3-2-1原则、LAN-Base/LAN-Free组网)、归档(长期合规存放与多种介质)与容灾(主备、双活、多DC及两地三中心级联/并联/环形组网)。全章呈现从单系统到异地、从恢复到连续性的数据保护体系。
本章卡片: - 数据保护的两重含义 - 灾备标准Share78与国标 - RPO与RTO指标 - 镜像技术保护数据 - 快照的CoW与RoW - 克隆与快照的区别 - 3-2-1备份原则 - 容灾的三种场景
12 存储维护
第12章围绕存储维护展开,先区分预防性维护(PM,主动定期巡检以预防故障)与纠正性维护(CM,故障后响应式修复),指出CM可能停机、现代存储更依赖PM。PM部分用大数据与AI做主动维护,覆盖硬盘健康预测(以FDR/FAR评估)、容量趋势多模型择优预测、性能异常实时精准检测、性能潮汐分析以选变更窗口四大场景。CM部分介绍主动问题处理、升级与扩容,其中在线升级的保连接技术以秒级业务进程拉起摆脱对主机HBA卡、多路径、应用软件的兼容依赖,是实现业务无感升级的关键。整体脉络是“以PM减少CM、以技术降低维护对业务的影响”。
本章卡片: - PM与CM的本质区别 - 硬盘健康预测的评估指标 - 容量趋势的多模型优选 - 性能异常检测的实时精准 - 性能潮汐分析与变更窗口 - 在线升级与保连接技术
13 存储解决方案
第13章按行业给出存储解决方案。运营商以全闪存、分布式、备份存储满足IT与CT业务,其中大数据场景用存算分离与纠删码(4+2达66%利用率)降本,BOM域用一体化原生备份实现分钟级恢复。政务以融合存储资源池统一供给块/文件/对象/HDFS多协议,含全闪存、分布式(弹性纠删码利用率超90%)、备份三层。金融以“两地三中心”为容灾标准,按GB/T 20988六级匹配双活同步、主备异地与备份等级。医疗PACS用分布式分级存储平衡热数据调阅与15年以上冷存储。教育科研以分布式并行文件存储支撑HPDA混合负载。整体体现“按业务特征选型、资源池化、分层容灾”的解决思路。
本章卡片: - 运营商大数据存算分离 - 纠删码提升空间利用率 - 一体化备份与分钟级恢复 - 政务融合存储资源池 - 两地三中心容灾 - 金融容灾分级标准 - PACS影像分级存储 - 教育科研HPDA存储
14 存储技术趋势与发展
本章梳理数据存储前沿趋势。闪存从单盘走向集群,并衍生出向主机暴露细节的OC SSD、ZNS SSD;存内与近存计算以“靠近数据计算”破解存储墙与功耗墙;持久性内存因字节寻址带来软件栈、一致性与碎片三大挑战。在网存储把协调、调度、缓存卸载到可编程网络设备;智能存储呈“AI for Storage”与“Storage for AI”双向驱动。边缘存储以感存算融合应对受限,区块链存储聚焦效率与查询矛盾,分离式数据中心将硬件拆为资源池互联,高密度新型存储(SMR、光存储、DNA)试图突破容量墙。
本章卡片: - 闪存集群低能耗扩展 - OC SSD主机直管闪存 - ZNS SSD分区顺序写 - 存内计算破解存储墙 - 近存计算两类分层 - 持久性内存三大挑战 - 在网存储卸载存储任务 - 学习索引替代B+树 - 边缘存储邻近低延迟 - 区块链存储落地障碍 - 分离式资源池架构 - DNA存储高密度长寿命
原书依据 · 12 处
- 存储技术趋势与发展 14.1 闪存存储系统 · 查看原书依据
- 存储技术趋势与发展 14.1.1 OC SSD · 查看原书依据
- 存储技术趋势与发展 14.1.2 ZNS SSD · 查看原书依据
- 存储技术趋势与发展 14.2 存内计算 · 查看原书依据
- 存储技术趋势与发展 14.2.1 近存计算 · 查看原书依据
- 存储技术趋势与发展 14.3 持久性内存 · 查看原书依据
- 存储技术趋势与发展 14.4 在网存储 · 查看原书依据
- 存储技术趋势与发展 14.5.1 AI for Storage · 查看原书依据
- 存储技术趋势与发展 14.6 边缘存储 · 查看原书依据
- 存储技术趋势与发展 14.7 区块链存储 · 查看原书依据
- 存储技术趋势与发展 14.8.2 架构特点及关键技术 · 查看原书依据
- 存储技术趋势与发展 14.9.3 DNA存储 · 查看原书依据
跨章综合
(跨章综合:覆盖介质到分布式的端到端一致性、可靠性与性能权衡,以及存储虚拟化/软件定义对软硬件解耦的贯穿作用,待阶段五收束。)
发散与实践
(发散与实践:结合书中 RAID、纠删码、副本、快照、备份归档容灾等机制,设计本地可演练的存储可靠性与数据保护实验,待阶段五生成实践计划。)