知识卡片

普通读书笔记卡 · 1773.b.1

逻辑卷映射多个物理卷

理解等级:中级

Haystack把许多小图片追加到大物理卷文件,一个逻辑卷对应多份物理卷以提供副本。目录服务维护卷映射并选择可写卷,应用用逻辑卷ID与图片ID定位,而不为每张图片保留庞大的独立文件系统元数据。这是对象存取组织,不是可任意覆盖的小文件接口。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      在了解HayStack架构之前,需要熟悉相关的一些基本概念,首先需要了解什么是“物理卷”(Physical Volume)和“逻辑卷”(Logical Volume),图8-11是这两个基本概念的示意图。HayStack存储系统由很多PC构成,每个机器的磁盘存储若干“物理卷”,前面讲过,为了减少文件“元数据”的数量,需要将多个图片的数据存储在同一个文件中,这里的“物理卷”就是存储多个图片数据对应的某个文件,一般一个“物理卷”文件大小为100GB,可以存储上百万张图片数据。不同机器上的若干“物理卷”共同构成一个“逻辑卷”,在HayStack的存储操作过程中,是以“逻辑卷”为单位的,对于一个待存储的图片,会同时将这个图片数据追加到某个“逻辑卷”对应的多个“物理卷”文件末尾,之所以要这么做,主要是从数据冗余的角度考虑的,即使某台机器宕机,或者因为其他原因不可用,还可以从其他机器的“物理卷”中读出图片信息,这种数据的冗余是海量存储系统必须考虑的。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落118(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:在了解HayStack架构之前,需要熟悉相关的一些基本概念,首先需要了解什么是“物理卷”(Physical Volume)和“逻辑卷”(Logical Volume),图8-11是这两个基本概念的示意图。HayStack存储系统由很多PC构成,每个机器的磁盘存储若干“物理卷”,前面讲过,为了减少文件“元数据”的数量,需要将多个图片的数据存储在同一个文件中,这里的“物理卷”就是存储多个图片数据对应的某个文件,一般一个“物理卷”文件大小为100GB,可以存储上百万张图片数据。不同机器上的若干“物理卷”共同构成一个“逻辑卷”,在HayStack的存储操作过程中,是以“逻辑卷”为单位的,对于一个待存储的图片,会同时将这个图片数据追加到某个“逻辑卷”对应的多个“物理卷”文件末尾,之所以要这么做,主要是从数据冗余的角度考虑的,即使某台机器宕机,或者因为其他原因不可用,还可以从其他机器的“物理卷”中读出图片信息,这种数据的冗余是海量存储系统必须考虑的。