← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1773

按负载设计FS

理解等级:未标注

GFS 的设计从工作负载出发:普通机器常故障、大文件为主、追加写多、顺序读多。分布式文件系统不是抽象地追求 POSIX 完整性,而是围绕目标业务牺牲不常用语义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      GFS是Google公司为了能够存储以百亿计的海量网页信息而专门开发的文件系统。在Google的整个大数据存储与处理技术框架中,GFS是其他相关技术的基石,因为GFS提供了海量非结构化信息的存储平台,并提供了数据的冗余备份、成千台服务器的自动负载均衡,以及失效服务器检测等各种完备的分布式存储功能。同时,GFS对后来的大数据技术发展潮流有极为巨大的影响和推动作用,仿制GFS和Mapreduce的Hadoop获得广泛流行应该说是引发大数据技术大爆发的源头之一。

    • 分布式文件系统 · 查看原书依据

      再次,系统中存在大量的“追加写”操作,即将新增内容追加到已有文件的末尾,已经写入的内容一般不做更改,很少有文件的“随机写”行为,即指定已有文件中间的某个位置,在这个位置之后写入数据。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.1.1 GFS设计原则"一节(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文明确GFS因"大量商业PC……每天都有机器死机或者发生硬盘故障"而重视自动检测与恢复;"所存储的文件绝大多数都是大文件";"存在大量的'追加写'操作……很少有文件的'随机写'行为";"绝大多数读文件操作都是'顺序读'",这些设计原则均从工作负载特征直接推导。 - 原始内容:GFS采用大量商业PC来构建存储集群……每天都有机器死机或者发生硬盘故障,这是一个常态,GFS在设计时就将其考虑在内了……GFS文件系统所存储的文件绝大多数都是大文件……系统中存在大量的"追加写"操作……很少有文件的"随机写"行为……绝大多数读文件操作都是"顺序读"