知识卡片
按负载设计FS
GFS 的设计从工作负载出发:普通机器常故障、大文件为主、追加写多、顺序读多。分布式文件系统不是抽象地追求 POSIX 完整性,而是围绕目标业务牺牲不常用语义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 分布式文件系统
- · 附录B 延伸阅读
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
GFS是Google公司为了能够存储以百亿计的海量网页信息而专门开发的文件系统。在Google的整个大数据存储与处理技术框架中,GFS是其他相关技术的基石,因为GFS提供了海量非结构化信息的存储平台,并提供了数据的冗余备份、成千台服务器的自动负载均衡,以及失效服务器检测等各种完备的分布式存储功能。同时,GFS对后来的大数据技术发展潮流有极为巨大的影响和推动作用,仿制GFS和Mapreduce的Hadoop获得广泛流行应该说是引发大数据技术大爆发的源头之一。
- 分布式文件系统 · 查看原书依据
再次,系统中存在大量的“追加写”操作,即将新增内容追加到已有文件的末尾,已经写入的内容一般不做更改,很少有文件的“随机写”行为,即指定已有文件中间的某个位置,在这个位置之后写入数据。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.1.1 GFS设计原则"一节(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确GFS因"大量商业PC……每天都有机器死机或者发生硬盘故障"而重视自动检测与恢复;"所存储的文件绝大多数都是大文件";"存在大量的'追加写'操作……很少有文件的'随机写'行为";"绝大多数读文件操作都是'顺序读'",这些设计原则均从工作负载特征直接推导。
- 原始内容:GFS采用大量商业PC来构建存储集群……每天都有机器死机或者发生硬盘故障,这是一个常态,GFS在设计时就将其考虑在内了……GFS文件系统所存储的文件绝大多数都是大文件……系统中存在大量的"追加写"操作……很少有文件的"随机写"行为……绝大多数读文件操作都是"顺序读"