知识卡片

按负载设计FS

普通读书笔记卡 · 1773

内容

GFS 的设计从工作负载出发:普通机器常故障、大文件为主、追加写多、顺序读多。分布式文件系统不是抽象地追求 POSIX 完整性,而是围绕目标业务牺牲不常用语义。

参考来源

- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.1.1 GFS设计原则"一节(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文明确GFS因"大量商业PC……每天都有机器死机或者发生硬盘故障"而重视自动检测与恢复;"所存储的文件绝大多数都是大文件";"存在大量的'追加写'操作……很少有文件的'随机写'行为";"绝大多数读文件操作都是'顺序读'",这些设计原则均从工作负载特征直接推导。 - 原始内容:GFS采用大量商业PC来构建存储集群……每天都有机器死机或者发生硬盘故障,这是一个常态,GFS在设计时就将其考虑在内了……GFS文件系统所存储的文件绝大多数都是大文件……系统中存在大量的"追加写"操作……很少有文件的"随机写"行为……绝大多数读文件操作都是"顺序读"。