知识卡片

结构图卡 · 2697.e

文件级别与块级别分布式文件系统的设计演进

理解等级:未标注

构建分布式文件系统时,最直觉的做法是”文件级别”设计:一个Master节点记录每个文件存放在哪几个Slave节点上(比如按副本数3选3个节点),客户端先问Master要地址,再直接和这几个Slave通信读写整个文件。这个方案能work,但暴露两个结构性缺陷:难以负载均衡——因为存储的最小单位是”一整个文件”,而现实中文件大小参差不齐,某些节点存了几个大文件就会比存了很多小文件的节点负载重得多,很难靠调度抹平;难以并行处理——当多个计算任务同时要读同一个文件时,由于整个文件只存在某几个固定节点上,这几个节点的出口网络带宽会成为瓶颈,制约上层计算框架的并行度。块级别设计解决了这两个问题:把每个文件切成等大的数据块(如128MB),再以”块”而非”文件”为单位分散存储到不同节点——负载均衡问题被拆解成更细粒度、更容易被打散和调度的单位;并行处理问题也被化解,因为同一个文件的不同数据块天然分布在不同节点上,多个任务可以同时从不同节点并行读取同一文件的不同部分,出口带宽压力被摊薄到多个节点。可迁移启发:当某个系统的负载均衡或并行度卡在”调度粒度太粗”上时,思考能不能把粗粒度的调度单元(如”一个文件”)拆分成更细的固定大小单元(如”一个块”),往往是打破瓶颈最直接的一招,而不是先想着加更多节点。

结构图:

flowchart TB
  A["分布式文件系统设计演进"]
  A --> B["文件级别<br/>以整个文件为存储单位<br/>负载难均衡+并行读受限于出口带宽"]
  B --> C["块级别(如HDFS)<br/>文件切成等大数据块(128MB)分散存储<br/>负载均衡更细粒度+多节点并行读取同一文件"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》之"6.2 文件级别和块级别的分布式文件系统"(源文件:_epub-src/OEBPS/text00042.html) - 结论依据:原文说明"该系统从一定程度上能够解决分布式存储问题,但存在以下两个不足。1)难以负载均衡……2)难以并行处理:……由于数据是以文件为单位存储的,当多个分布在不同节点上的任务并行读取一个文件时,会使得存储文件的节点出口网络带宽成为瓶颈……为了解决6.2.1节提到的文件级别分布式系统存在的不足,块级别的分布式文件系统出现了,这类系统核心思想是将文件分成等大的数据块……并以数据块为单位存储到不同节点上,进而解决文件级别的分布式系统存在的负载均衡和并行处理问题",直接支撑本卡结构图与结论。 - 原始内容:由于用户的文件大小往往是不统一的,这就难以保证每个节点上的存储负载是均衡的。