PCIe树形拓扑
PCIe 把共享总线改成以 Root Complex 为根的树形拓扑,Endpoint 通过 Switch 或 RC 通信。它减少总线争用,让高速设备拥有点到点链路,是 SSD 摆脱 SATA 带宽天花板的硬件基础。
主题对照
比较 PCIe 分层、TLP 事务与流控、NVMe 队列与寻址、NVMe over Fabrics,以及 SATA/PCIe/NVMe 的电源管理机制。
PCIe 把共享总线改成以 Root Complex 为根的树形拓扑,Endpoint 通过 Switch 或 RC 通信。它减少总线争用,让高速设备拥有点到点链路,是 SSD 摆脱 SATA 带宽天花板的硬件基础。
PCIe 分事务层、数据链路层和物理层:上层生成[[TLP是事务包]],中层保证链路传输和流控,下层处理 Lane 上的物理发送。分层的意义是把协议演进限制在局部,降低版本升级的连锁改动。
TLP 是 PCIe 事务层把软件请求封装后的传输单元,携带请求类型、目标地址、长度和可选载荷。理解 TLP,才能把一次读写从“命令”追踪到总线上的数据包流动。
MPS 决定一个 TLP 的最大载荷,但整条路径必须采用不超过任何设备能力的共同值。高速 SSD 插到低能力主板上,包大小会被路径短板限制;协议兼容常以性能让步为代价。
PCIe链路层给每个TLP编号并算LCRC,发送方存入Replay Buffer,收到确认才清除。接收方校验通过发ACK带上连续收到的最大序号,发送方据此清空缓存;校验失败或序号跳跃即丢包,发NAK标出最后正确序号,发送方把之后TLP全部重发;因超时重发的重复包,接收方丢弃并照常回ACK。发散:序号+确认+超时重传是链路层版TCP滑动窗口,搬到了总线上,与[[TLP是事务包]]共同构成可靠传输。
PCIe给TLP找目的地靠三种路由:地址路由(比对地址是否落在设备BAR空间)、ID路由(比对总线+设备+功能号)、隐式路由(只有Message用,专对付根节点通信、无需指定地址)。Switch靠自己记录的地址/总线区间判断转发还是拒绝。发散:路由方式跟通信双方是谁走,选路由本质是选定位维度。
PCIe的TLP流控基于Credit:接收端不断通过流控DLLP告知对方自己还剩多少接收空间,发送端据此判断该发还是等,而不是盲发后靠对方拒收再重传。这种”先问对方有没有空间”的机制避免了无谓的发送-拒绝-重传循环,比”发了再说”的被动纠错更省带宽。发散:Credit流控和TCP滑动窗口思路相通——限速的关键不是发送方多快,而是接收方还能吃下多少。
PCIe物理层跑得快靠两招:一是差分信号,用两根线的电平差表示0/1,干扰同时加在两线上会在相减时抵消,比单端信号抗干扰强得多,因此能用更高速率传输;二是8b/10b编码,把数据处理成0和1数量相当(保持直流平衡)并嵌入时钟信息,让PCIe无需专用时钟线也能同步。发散:物理层的”快”不是堆速率堆出来的,而是先解决了抗干扰和同步这两个前提问题后,速率才敢往上提。
AHCI/SATA 适合机械硬盘时代,SSD 性能提升后,瓶颈转移到接口和协议。NVMe 以 PCIe 低延迟和并行为目标设计,把非易失介质从老协议兼容负担中释放出来。
NVMe 的优势不只是单条链路快,而是队列数量和深度都大幅扩展。AHCI 只有一个 32 深度队列,NVMe 可到 64K 队列和 64K 深度,能贴合多核、多线程与高并发 I/O。
NVMe 命令闭环由 SQ、CQ、DB 组成:主机把命令写入内存中的 SQ,通过门铃通知 SSD;SSD 执行后把完成项写回 CQ,再由中断与门铃确认收尾。队列放主机内存,是减少寄存器交互的关键。
NVMe 写命令不仅要说明写什么 LBA,还要告诉 SSD 数据在主机内存哪里。PRP 与 SGL 是描述主机内存数据位置的两种方式,本质是把 DMA 寻址信息交给设备,让 SSD 主动取数或回写。
Namespace 是 NVMe 把同一闪存空间划出的独立逻辑空间,每个空间拥有自己的 LBA 范围和 ID。它不是物理分盘,而是控制器暴露给主机的逻辑隔离单位,可服务多租户、分区和管理策略。多NS常与多控制器、双PCIe端口组合,支撑SR-IOV虚拟机共享设备和双主机容灾冗余等企业级场景。
NVMe给每个逻辑块配PI(保护信息):Guard是CRC查错,Reference Tag把数据与LBA绑定防张冠李戴。保护可配三挡:不带PI靠PCIe自身LCRC兜底省带宽;全程带PI从主机到闪存全链路校验,安全最高但每块多耗至少8字节且增加校验开销;半程只在控制器到闪存间加PI,补内部DRAM/闪存间比特翻转风险。发散:本质是用带宽换故障发现范围,与[[TLP是事务包]]形成分层防御。
PCIe不适合横向扩展成存储池,传统方案用iSCSI把多个NVMe SSD接到前端,但iSCSI延迟约100μs,配不上NVMe追求的10μs以内。NVMe over Fabrics用RDMA等事务层协议承载NVMe语义,让请求从用户态应用直达远程网卡、不经内核内存复制,逼近本地PCIe的低延迟。发散:协议扩展的边界不是功能能不能做到,而是原协议的延迟预算配不配得上新场景。
Partial 和 Slumber 只让 SATA PHY 进入低功耗,并不等于整盘睡眠。Partial 唤醒快、节能少,Slumber 更省电、唤醒慢;链路省电和 SSD 内部 CPU、DDR、后端电源管理是独立层次。
DevSlp 比[[SATA链路省电]]更进一步:关闭 SATA 传输电路,只保留低速管脚接收唤醒。它用更长恢复时间换取毫瓦级功耗,适合用户难以感知 10ms 与 20ms 差别的移动场景。
RTD3 关注的是整个 SSD 的 D3Cold,而不只是[[SATA链路省电]]。进入后设备设置会丢失,恢复时主机要重新初始化;它把功耗压到 0,却引入秒级进入与亚秒级退出代价。
ASPM 是 PCIe 链路在 D0 工作态下由硬件触发的省电机制。L0s 恢复快、L1 更省电但恢复慢;它适合链路空闲间隙省电,边界是不能破坏链路状态机与延迟预算。
NVMe用Power State Descriptor(电源状态描述符,最多32个)把每种电源状态的功耗、读写延迟、吞吐量、进入/退出耗时都编码成结构化数值,主机据此按当前应用场景(如OLTP要低延迟、视频要高吞吐、绿色模式要低功耗)主动切换电源状态,而不是被动等硬件省电。发散:把”何时省电”的决策权交给最了解负载的主机而非主控本身,是分层设计里”谁最有信息谁来决策”的一个具体案例。
仅靠PCIe链路省电空间有限,SSD主控把内部模块划成多个Power Domain分级关闭:先关PCIe链路进ASPM(退出快),继续空闲则关NVMe/ECC/闪存控制器(退出变慢),最后CPU睡眠、DRAM自刷新(省电最多但退出最慢)。省电幅度和恢复延迟成反比。发散:省电设计关键不是”能不能关”,而是把关闭粒度分层,让不同空闲时长对应不同退出代价。
Ceph把文件、块设备和对象网关数据都压到底层对象模型之上,让RADOS只处理对象名、数据、属性和操作语义。上层协议差异被留在客户端或服务层,底层只提供通用可靠存储。发散:稳定的底层抽象往往不是功能最多,而是语义边界足够窄。
文件系统同时服务用户视角和实现视角:用户关心命名、目录、读写和权限;实现者关心块分配、元数据、缓存和一致性。Hadoop 文件系统抽象延续这种分层,使应用面对统一 API,底层可接本地、HDFS 或内存文件系统。
虚拟文件系统把不同底层文件系统统一成同一组操作,核心价值是让上层代码不被存储介质和协议绑死。Hadoop FileSystem 也采用类似思想,用 URI scheme 选择实现。相关:[[文件系统双视角]]。
Hadoop 输入流不仅是顺序读取,还支持 seek 定位,因为大数据计算常需要按分片读取文件的某个范围。把随机定位能力放进流接口,MapReduce 等上层框架才能把同一大文件并行切给多个任务。
FileSystem.get()按URI选择具体实现,并可从FileSystem.CACHE取得已缓存的共享实例;缓存键明确规定了哪些条件下可以共享。共享意味着生命周期也被共享:一处关闭缓存实例,可能影响其他使用者。需要独立生命周期时,应改用newInstance()取得不被共享、但仍受缓存管理的实例。
Cinder 不直接变成某种存储设备,而是在虚拟机和后端阵列之间提供逻辑卷抽象。统一 API 屏蔽厂商差异,驱动层负责适配真实设备。发散:平台要兼容多后端,核心是抽象稳定接口,而不是统一底层实现。
Manila 把共享文件系统做成 OpenStack 服务,通过驱动对接不同后端,向租户交付 NFS/CIFS 等共享能力。[[块存储抽象]] 发散:存储服务要先分清块、对象、文件三种访问语义。
大文件不宜穿过API网关和函数:书中平台限制网关传入函数的内容为6MB,经网关传文件还要付较高流量费。Base64编码后大于等于6MB时,应先把文件上传到对象存储,再把对象地址交给函数处理;客户端直传有安全风险,要由服务端签名,限定上传位置。
FaaS与存储服务结合,能在Serverless架构下实现文件存储、缓存共享、文件上传等常用场景,补齐数据存储与共享能力;如文件上传后由存储事件触发函数做转码、审核、缩略图等处理。存储负责持久化,函数只处理增量任务,二者边界清楚、易于弹性扩展。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 7/7
47 张卡片
来源书籍
分布式存储系统类
书籍类型:工程实践
清单覆盖 7/7
44 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
54 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 5/5
42 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
25 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 6/6
44 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来源书籍
数据库/存储引擎类
书籍类型:经典原理
清单覆盖 3/7
61 张卡片
与 3 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类