知识卡片

NVMe-oF如何弥补存储计算分离后的延迟

专业/工作 · 550.e

内容

当单机能挂的NVMe固态硬盘越来越多,本地CPU反而跟不上盘的性能,于是出现了把固态硬盘独立成单独设备、供多台主机共享的方案,但计算和存储一旦分离,网络就会引入新的带宽和延迟开销。NVMe-oF的解法是只把NVMe协议里的Transport传输层部分替换成InfiniBand、以太网或光纤通道,其余90%协议内容保持不变,并优先选用RDMA传输——RDMA能绕开远端主机CPU直接读写其内存,这样跨网络访问的延迟可以做到接近本地访问的水平。发散:这体现了一个通用套路——把系统拆分成多层时,只要能把”新引入的那一层”的代价降到接近零,拆分本身几乎就是免费的,NVMe-oF对Transport层的替换和RPC框架对传输层的可插拔设计是同一个思路。

参考来源

《Linux开源存储全栈详解从Ceph到容器存储》第2章《存储硬件与协议》