原书出处
大数据日知录_架构与算法
8 分布式文件系统
在了解HayStack架构之前,需要熟悉相关的一些基本概念,首先需要了解什么是“物理卷”(Physical Volume)和“逻辑卷”(Logical Volume),图8-11是这两个基本概念的示意图。HayStack存储系统由很多PC构成,每个机器的磁盘存储若干“物理卷”,前面讲过,为了减少文件“元数据”的数量,需要将多个图片的数据存储在同一个文件中,这里的“物理卷”就是存储多个图片数据对应的某个文件,一般一个“物理卷”文件大小为100GB,可以存储上百万张图片数据。不同机器上的若干“物理卷”共同构成一个“逻辑卷”,在HayStack的存储操作过程中,是以“逻辑卷”为单位的,对于一个待存储的图片,会同时将这个图片数据追加到某个“逻辑卷”对应的多个“物理卷”文件末尾,之所以要这么做,主要是从数据冗余的角度考虑的,即使某台机器宕机,或者因为其他原因不可用,还可以从其他机器的“物理卷”中读出图片信息,这种数据的冗余是海量存储系统必须考虑的。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00013.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d