知识卡片

普通读书笔记卡 · 1213.i.1.o

客户端直连存储节点

理解等级:中级

需求:云相册、云存储、短视频等需要海量存储、随时扩容、高效访问且文件不丢失。常用方案有 NFS、GFS、FastDFS、HDFS、Ceph、GridFS、对象存储云服务等。

NFS(网络文件系统):通过 TCP/IP 共享存储,把本地目录挂载到远程目录,读写远程文件与本地一样,应用无须修改;对开发运维透明、易维护。缺点:单节点故障(NFS 服务器宕机后客户端读不到历史文件,新文件写到本地磁盘,重新挂载要手动同步);高并发有瓶颈;无安全认证、明文传输、不校验完整性。建议用于内网中小规模系统。

GFS(谷歌文件系统):一主多从——一个 master 存全部元数据(文件与块的对应、块副本位置,以树形命名空间组织),数据全在内存,读写快、一致性高,但 master 内存决定集群最大容量;多个 chunkserver 存分块(如 256MB 视频分为 4 个 64MB 块)并相互复制。master 与 chunkserver 保持心跳并负责空间回收。读文件:问 master 在哪 → master 返回副本位置 → 客户端直接与 chunkserver 交互读取,不经过 master,以免它成为瓶颈。面向大文件、读多写少,可在廉价服务器上运行。

FastDFS:轻量级、C 语言编写,更适合占用空间小但数量巨大的“碎文件”,不分块存储,避免拆分合并开销。Tracker 集群负责负载均衡和元数据,Storage 集群负责存储和副本复制并定时上报状态。上传:客户端问 Tracker → Tracker 选 Storage 并返回 IP 端口 → 客户端直连 Storage 上传 → Storage 生成文件 ID 返回 → 客户端把文件 ID 与业务数据关联存储。文件 ID(如 /group1/M00/23/45/xxx.jpeg)等同唯一路径,文件名编码了时间戳、大小、随机数、源 Storage IP。

共同点:无论 FastDFS 还是 GFS,客户端都直接与存储节点交互文件,元数据节点只负责定位,从而提高吞吐量与效率。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第02章《第2章 大型互联网架构设计的四大原则》2.2.1 文件存储伸缩设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_2_2.xhtml,来源项目 book-sources) - 结论依据:2.2.1节介绍文件存储伸缩需求,对比NFS的透明易用与单点、明文问题,GFS的内存元数据主节点与分块复制,FastDFS适合海量小文件与文件ID机制,并总结客户端直连存储节点的共同设计。 - 原始内容:无论是FastDFS还是GFS,客户端都是直接与Storage、GFS chunkserver存储节点进行文件交互,提高了系统的吞吐量和处理效率。