来源书籍

数据存储架构与技术(第2版)

Skill 版本:v24 123 张卡片

舒继武 · 人民邮电出版社 · 2024-06-01 · 第2版 · ISBN 9787115639226

全书导读

《数据存储架构与技术(第2版)》系统讲解数据存储从底层介质到上层架构与前沿趋势的完整体系:先建立数据存储的背景与目标,再自下而上覆盖存储介质、存储阵列、存储协议、键值存储与文件系统,随后展开网络存储、分布式存储、可靠性、安全、数据保护、运维与行业解决方案,最后展望存内计算、持久内存、在网与智能存储等前沿方向。全书以原理为主、兼顾工程实践,适合希望建立数据存储系统全景认知的读者。

全书主线

主线可概括为“介质—系统—网络—分布—保障—运维—趋势”七层递进:以存储介质与阵列为物理与局部基础,以协议与键值/文件系统为访问与组织方式,以网络与分布式存储放大规模与共享能力,再以可靠性、安全、数据保护与运维构成数据“存得稳、存得安全、可恢复、可管理”的保障环,最终落到行业方案与前沿趋势。

1 数据存储的背景

第1章界定数据存储的内涵与价值,并指出其四大目标。数据存储是将信息保存在介质上供后续读取的技术,从远古结绳演变为当代磁盘加存储软件的体系;2025年数据总量预计达181 ZB,凸显其底座地位。其重要性体现在促进经济发展(Gartner预测全球存储市场1500亿美元)、提升社会治理(大数据依托采集—存储—分析链路)与助力科研突破。为达成目标,需在硬件与软件协同下追求高性能(吞吐率与延迟)、高易用性(块/键值/文件三类接口与共享)、高可靠性(多副本与纠删码冗余),以及高性价比、安全、可扩展等其他目标。

本章卡片: - 数据存储的时代意义 - 数据存储的经济发展价值 - 高性能:吞吐率与延迟 - 数据局部性原理 - 三种存储接口 - 高可靠性靠冗余

原书依据 · 6 处

2 存储盘与存储介质

第2章介绍主流存储盘与介质的物理原理与关键机制。存储介质按物理效应分为磁、电、光三类;磁盘作为磁存储代表,温盘封装与巨磁阻技术奠定现代形态,其性能由寻道、旋转、传输、控制器四部分延迟决定,固件通过LBA→CHS/PBA映射与FCFS/SSTF/SCAN等调度优化。SSD采用闪存,受写前擦除与有限擦写寿命约束,依靠FTL的地址映射、垃圾回收(带来写放大)与磨损均衡管理。主存以DRAM为主,靠1T1C单元与多级层次组织,并因电容电荷逃逸需破坏性读出与定期刷新。

本章卡片: - 三类存储介质 - 磁盘发展里程碑 - 磁盘访问延迟 - 磁盘固件地址映射 - 磁盘调度算法 - 闪存写前擦除 - FTL与写放大 - DRAM结构与层次 - DRAM刷新机制

原书依据 · 9 处

3 存储阵列

第3章《存储阵列》系统讲解外置存储阵列的硬件架构、软件架构,以及高性能与高可靠性设计。硬件上,阵列以引擎(双/多控制器共享硬盘框)为基本单位,由控制器、接口模块、硬盘框与单元、散热与电源等构成,并通过硬盘框扩展实现容量纵向扩展(Scale-up)、控制器扩展实现性能横向扩展(Scale-out)。软件核心是RAID子系统(条带化与各级别容错、写洞、空间虚拟化)与缓存镜像子系统(局部性加速、镜像与掉电保护)。高可靠与高性能设计则围绕控制器冗余切换的层次化指标、缓存镜像/持续镜像,以及非均衡(AP)与均衡(AA,含部分/全对称)集群架构展开,整体回答了“如何以不可靠硬件提供高可靠、高性能、易管理的存储服务”这一主线。

本章卡片: - 存储阵列的整体形态 - 控制器模块的数据镜像 - 接口模块的分类 - RAID条带化与容错差异 - RAID写洞与NVRAM修复 - 缓存镜像的局部性原理 - 掉电缓存与保险箱盘 - 高可靠冗余切换层次 - 均衡架构与非均衡架构

原书依据 · 9 处

4 存储协议

本章以“块协议 + 链路承载 + 内存互连”三层脉络展开。SCSI是经典块协议,含设备指令集(SBC/SSC)、共用指令集(SPC)、架构模型(SAM)与链路映射四层,以启发器/目标设备C/S模型及总线号/设备号/LUN三级寻址互连,读写经CDB与DMA完成。链路承载:SAS串行专用链路兼容SATA,FC五层结构支撑SAN三拓扑,iSCSI借TCP/IP以太网。NVMe专为SSD高速介质设计,以PCI-e直连、多队列(SQ/CQ)与Doorbell突破传统开销;NVMe-oF再承载到RDMA/FC/TCP网络。CXL以缓存一致性互连实现内存池化,用io/cache/mem三类接口适配不同设备。

本章卡片: - 存储协议的分类 - SCSI标准体系架构 - SCSI三级寻址 - SCSI块设备指令集 - SAS协议层次架构 - FC协议与网络拓扑 - iSCSI协议原理 - NVMe的诞生动机 - NVMe多队列模型 - NVMe over PCI-e交互 - NVMe over Fabrics - CXL三类接口

原书依据 · 12 处

5 键值存储

本章围绕键值存储系统展开。首先定义键值存储以全局唯一的键和语义不透明的值为基本单位,是 NoSQL 家族重要成员,常在存储服务器、文件系统与数据仓库中作底层组件。基本操作包括 put/get/delete,并可细分为 insert/update,扩展接口有批量、范围、持久化、快照与事务等以换取性能或表达力。为保证持久性,更新分原地更新(地址不变、无回收开销但怕多块更新)与异地更新(日志结构,顺序写友好但需垃圾回收)。当更新涉及多块时,崩溃一致性成为核心问题:WAL 用两次写保证原子与持久,重做日志需预知全部块、可合并 I/O 但欠灵活,回滚日志不必预知但性能较弱;影子页则以写时复制与原子指针切换规避日志,却可能级联修改多级页。

本章卡片: - 键值存储的定义 - 键值存储基本操作 - 原地更新与异地更新 - 日志结构的数据组织 - 用WAL保证崩溃一致性 - 影子页写时复制

原书依据 · 6 处

6 文件系统

本章介绍文件系统的基本概念与单机实现。文件系统为屏蔽外存细节、支持多任务可靠共享而设计,其职责分命名空间(按名存取)、存储管理(空间分配与地址映射)、高级特性(共享、保护、一致性)三方面。基于磁盘的简单文件系统将磁盘划分为超级块、inode 区与数据区,目录作为特殊文件以“文件名→inode 号”映射组织成树。命名空间以目录树管理,支持绝对/相对路径,并通过挂载并入全局唯一命名空间。存储管理中数据块分配有连续(索引快、易碎片)、链式(增删易、随机差)、索引(折中、小文件有额外开销,大文件用多级间接索引扩展)三种策略。ext2 作为实例,以 15 个 inode 指针(12 直接+三级间接)寻址,1 KB 块下单文件上限约 16 GB,体现了小文件零跳转、大文件靠间接层的设计平衡。

本章卡片: - 文件系统的设计动机 - 文件系统的三大功能 - 简单文件系统的磁盘布局 - 目录树命名空间管理 - 文件空间三种分配方式 - ext2的多级索引

原书依据 · 6 处

7 网络存储体系结构

本章沿“存储网络化”的历史进程展开:单一磁盘阵列解决了单机容量与性能,却未解决系统级的扩展、稳定与共享。随着SCSI、FC等协议发展,存储必然走向网络,演进主线是“解耦物理硬件与逻辑管理、并支持横向扩展”。起点DAS直连单机、无法共享扩展;集中式网络存储分叉为NAS(文件级共享)与SAN(块级池化);对象存储融合二者优势面向大规模集群;并行存储以分布式文件系统破解HPC的“存储墙”;P2P以去中心化实现弹性与隐私;云存储以服务化整合分布式与虚拟化;最终落于存储虚拟化这一技术基础,并延伸出SDS与超融合HCI。全书以访问接口、扩展性、成本与管理复杂度的取舍为维度,为理解现代数据中心存储体系提供完整框架。

本章卡片: - DAS直连存储的适用边界 - NAS文件级共享卸载 - SAN块级访问与IP-SAN - 对象存储的三类核心组件 - 并行存储破解存储墙 - P2P去中心化的特性 - 云存储的服务化架构 - 公有云私有云混合云对比 - 存储虚拟化的带内与带外 - SDS软硬件解耦 - 超融合HCI的融合本质 - 网络存储体系结构演进

原书依据 · 12 处

8 分布式存储系统

第8章系统梳理分布式存储系统:先给出“协调服务器—存储服务器—应用服务器”的典型架构与性能、可扩展性、一致性、可用性四类衡量指标,再按接口类型展开四类系统。分布式键值存储以键值对无依赖换来易扩展、低延迟,Dynamo 以向量时钟解冲突、RAMCloud 以日志副本求低延迟;对象存储以 Swift 一致性散列、Ceph CRUSH 做数据分布;块存储以虚拟磁盘兼容单机应用;文件系统以数据/元数据分离组织。各系统又配套副本、二级索引、负载均衡等关键技术,整体呈现“分散存储+冗余+协调”的设计主线。

本章卡片: - 分布式存储三类角色 - 尾延迟决定可见延迟 - 一致性三等级递减 - 超时机制的权衡 - 键值存储扩展优势 - 向量时钟追踪因果 - Raft日志复制机制 - 一致性散列减迁移 - 块存储作虚拟磁盘 - 文件系统元数据分离

原书依据 · 10 处

9 存储可靠性

第9章围绕存储可靠性展开:先界定可靠性概念与 MTTF/MTTR/MTBF/MTTDL/AFR 等指标,并区分可靠性(无故障持续运行概率)与可用性(正常时间占比);再从模块级、系统级、方案级三层给出设计框架。介质层分析 HDD 浴盆曲线与 SSD 的 P/E、保存时间、编程/读干扰等错误源及 RBER 衡量;系统级冗余以多副本与纠删码(含 RS、LRC、阵列码等)为核心,对比二者在容量、写惩罚、重构上的权衡;最后落到分布式系统的数据冗余、心跳故障恢复、一致性协议与负载均衡等可靠性保障技术。

本章卡片: - 存储可靠性背景 - 可靠性衡量指标 - 三层可靠性设计 - 可靠性非可用性 - 硬盘浴盆曲线 - SMART健康预警 - 闪存RBER与错误源 - 多副本冗余原理 - 纠删码低冗余容错 - 多副本对比纠删码 - 心跳检测主从恢复

原书依据 · 11 处

10 存储安全

第10章围绕存储安全展开,先以Shield系统为例把安全需求拆成系统安全、数据安全、安全管理三个维度。系统安全从硬件可信根出发构建可信链(TrustZone/SGX/SEV/TDX等隔离技术),并涵盖容器安全与系统韧性四目标;数据安全是核心,包括对称/非对称加密、文件层与存储层加密、散列与MHT完整性验证、数字签名、权限管理与可搜索加密、安全销毁及TEE/同态加密等安全计算;安全管理则落到集中认证、双因素认证、RBAC与三权分立、PKI证书与三层密钥管理、IPDRR框架与可信启动/远程证明。全章强调:安全需分层防御、可恢复、可验证,且机密性、完整性、可用性须协同保障。

本章卡片: - 存储安全的三维度 - 硬件可信根与可信链 - 系统韧性的四个目标 - 对称与非对称加密的区别 - 散列编码与MHT完整性 - 可搜索加密技术 - 数据安全销毁方法 - SGX飞地的隐私保护

原书依据 · 8 处

11 数据保护

第11章系统介绍数据保护。先界定其两重含义——数据内容安全(密码学保障机密性/完整性)与数据防护安全(存储技术保障业务可用),并对比国际Share78八级与国标GB/T 20988六级的差异。随后以RPO/RTO两个指标刻画容灾需求,展开系统内的保护技术:镜像(创建/同步/分裂)、快照(CoW与RoW写方案)、克隆(与快照区别及分裂独立性),以及系统外的三大场景——备份(3-2-1原则、LAN-Base/LAN-Free组网)、归档(长期合规存放与多种介质)与容灾(主备、双活、多DC及两地三中心级联/并联/环形组网)。全章呈现从单系统到异地、从恢复到连续性的数据保护体系。

本章卡片: - 数据保护的两重含义 - 灾备标准Share78与国标 - RPO与RTO指标 - 镜像技术保护数据 - 快照的CoW与RoW - 克隆与快照的区别 - 3-2-1备份原则 - 容灾的三种场景

原书依据 · 8 处

12 存储维护

第12章围绕存储维护展开,先区分预防性维护(PM,主动定期巡检以预防故障)与纠正性维护(CM,故障后响应式修复),指出CM可能停机、现代存储更依赖PM。PM部分用大数据与AI做主动维护,覆盖硬盘健康预测(以FDR/FAR评估)、容量趋势多模型择优预测、性能异常实时精准检测、性能潮汐分析以选变更窗口四大场景。CM部分介绍主动问题处理、升级与扩容,其中在线升级的保连接技术以秒级业务进程拉起摆脱对主机HBA卡、多路径、应用软件的兼容依赖,是实现业务无感升级的关键。整体脉络是“以PM减少CM、以技术降低维护对业务的影响”。

本章卡片: - PM与CM的本质区别 - 硬盘健康预测的评估指标 - 容量趋势的多模型优选 - 性能异常检测的实时精准 - 性能潮汐分析与变更窗口 - 在线升级与保连接技术

原书依据 · 6 处

13 存储解决方案

第13章按行业给出存储解决方案。运营商以全闪存、分布式、备份存储满足IT与CT业务,其中大数据场景用存算分离与纠删码(4+2达66%利用率)降本,BOM域用一体化原生备份实现分钟级恢复。政务以融合存储资源池统一供给块/文件/对象/HDFS多协议,含全闪存、分布式(弹性纠删码利用率超90%)、备份三层。金融以“两地三中心”为容灾标准,按GB/T 20988六级匹配双活同步、主备异地与备份等级。医疗PACS用分布式分级存储平衡热数据调阅与15年以上冷存储。教育科研以分布式并行文件存储支撑HPDA混合负载。整体体现“按业务特征选型、资源池化、分层容灾”的解决思路。

本章卡片: - 运营商大数据存算分离 - 纠删码提升空间利用率 - 一体化备份与分钟级恢复 - 政务融合存储资源池 - 两地三中心容灾 - 金融容灾分级标准 - PACS影像分级存储 - 教育科研HPDA存储

原书依据 · 8 处

14 存储技术趋势与发展

本章梳理数据存储前沿趋势。闪存从单盘走向集群,并衍生出向主机暴露细节的OC SSD、ZNS SSD;存内与近存计算以“靠近数据计算”破解存储墙与功耗墙;持久性内存因字节寻址带来软件栈、一致性与碎片三大挑战。在网存储把协调、调度、缓存卸载到可编程网络设备;智能存储呈“AI for Storage”与“Storage for AI”双向驱动。边缘存储以感存算融合应对受限,区块链存储聚焦效率与查询矛盾,分离式数据中心将硬件拆为资源池互联,高密度新型存储(SMR、光存储、DNA)试图突破容量墙。

本章卡片: - 闪存集群低能耗扩展 - OC SSD主机直管闪存 - ZNS SSD分区顺序写 - 存内计算破解存储墙 - 近存计算两类分层 - 持久性内存三大挑战 - 在网存储卸载存储任务 - 学习索引替代B+树 - 边缘存储邻近低延迟 - 区块链存储落地障碍 - 分离式资源池架构 - DNA存储高密度长寿命

原书依据 · 12 处

跨章综合

(跨章综合:覆盖介质到分布式的端到端一致性、可靠性与性能权衡,以及存储虚拟化/软件定义对软硬件解耦的贯穿作用,待阶段五收束。)

发散与实践

(发散与实践:结合书中 RAID、纠删码、副本、快照、备份归档容灾等机制,设计本地可演练的存储可靠性与数据保护实验,待阶段五生成实践计划。)

生成进度与管理记录

阅读概览:数据存储架构与技术(第2版)

执行模式:light 建档进度:阶段一 来源 EPUB SHA-256:fedd2f11eefc2afac1f14a5f2c0d72ef4043ea162792d4f0064a4a8a6fc4a735 评级:高浓度 / 高稳定性(经典原理,知识主体较耐久) 主体形态:概念解析型为主(存储原理、介质、协议、系统架构) 版权页(1.html)核验:人民邮电出版社;出版时间 2024-06-01;ISBN 9787115639226;编著 舒继武

章节进度追踪表

章节号 章节标题 状态 卡片数
01 第1章 数据存储的背景 done 6
02 第2章 存储盘与存储介质 done 9
03 第3章 存储阵列 done 9
04 第4章 存储协议 done 12
05 第5章 键值存储 done 6
06 第6章 文件系统 done 6
07 第7章 网络存储体系结构 done 12
08 第8章 分布式存储系统 done 10
09 第9章 存储可靠性 done 11
10 第10章 存储安全 done 8
11 第11章 数据保护 done 8
12 第12章 存储维护 done 6
13 第13章 存储解决方案 done 8
14 第14章 存储技术趋势与发展 done 12

非正文排除

spine项 类型 排除理由
00 封面 非正文
01 目录 非正文
02 版权信息 非正文
03 内容提要 非正文
04 序一 非正文
05 序二 非正文
06 第2版前言 非正文
07 前言 非正文
08 致谢 非正文
295 缩略语表 非正文
31 2.4 其他存储介质 章末小结/习题/文献/重复项(非实质正文)
33 2.5 本章小结 章末小结/习题/文献/重复项(非实质正文)
34 2.6 思考题 章末小结/习题/文献/重复项(非实质正文)
51 3.4 本章小结 章末小结/习题/文献/重复项(非实质正文)
52 3.5 思考题 章末小结/习题/文献/重复项(非实质正文)
78 4.6 本章小结 章末小结/习题/文献/重复项(非实质正文)
79 4.7 思考题 章末小结/习题/文献/重复项(非实质正文)
83 5.2 键值索引 章末小结/习题/文献/重复项(非实质正文)
84 5.2.1 散列索引 章末小结/习题/文献/重复项(非实质正文)
85 5.2.2 B+树索引 章末小结/习题/文献/重复项(非实质正文)
86 5.2.3 LSM树索引 章末小结/习题/文献/重复项(非实质正文)
93 5.5 本章小结 章末小结/习题/文献/重复项(非实质正文)
94 5.6 思考题 章末小结/习题/文献/重复项(非实质正文)
103 6.4 本章小结 章末小结/习题/文献/重复项(非实质正文)
104 6.5 思考题 章末小结/习题/文献/重复项(非实质正文)
142 7.11 本章小结 章末小结/习题/文献/重复项(非实质正文)
143 7.12 思考题 章末小结/习题/文献/重复项(非实质正文)
164 8.7 本章小结 章末小结/习题/文献/重复项(非实质正文)
165 8.8 思考题 章末小结/习题/文献/重复项(非实质正文)
189 9.6 本章小结 章末小结/习题/文献/重复项(非实质正文)
190 9.7 思考题 章末小结/习题/文献/重复项(非实质正文)
209 10.5 本章小结 章末小结/习题/文献/重复项(非实质正文)
210 10.6 思考题 章末小结/习题/文献/重复项(非实质正文)
224 11.4 本章小结 章末小结/习题/文献/重复项(非实质正文)
225 11.5 思考题 章末小结/习题/文献/重复项(非实质正文)
238 12.4 思考题 章末小结/习题/文献/重复项(非实质正文)
257 13.6 思考题 章末小结/习题/文献/重复项(非实质正文)
292 14.10 本章小结 章末小结/习题/文献/重复项(非实质正文)
293 14.11 思考题 章末小结/习题/文献/重复项(非实质正文)

待关联术语

术语名 出现章节 一句话语境

引用文献

| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — |

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出

实践候选筛选:已识别 RAID/纠删码可靠性演练、快照/备份/容灾演练、分布式存储一致性观察等方向,待阶段五落实

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。