知识卡片
集群存储的分层结构
Google 集群存储分三层:最底层 D 是几乎运行在每台机器上的文件服务器(可用磁盘和 SSD);其上的 Colossus 是覆盖整个集群的文件系统,提供常规文件接口并支持复制和加密,是 GFS 的改进版;再往上是类数据库服务,如 Bigtable(按行键、列键和时间戳索引的稀疏、有序、持久化多维映射表,PB 级)和提供 SQL 接口与一致性的全球数据库 Spanner。发散:每层只依赖下一层的抽象。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 Google 生产环境:SRE视角 · 查看原书依据
如图2-3所示,存储系统由多层结构组成: 1.最底层由称为D的服务提供(D代表磁盘 Disk,但是D可以同时使用磁盘和SSD)。D是一个文件服务器,几乎运行在整个集群的所有物理服务器上。然而,用户具体访问某个数据时并不需要记住具体到哪个服务器上去获取,这就是下一层做的事情。 2.D 服务的上一层被称之为Colossus,Colossus建立了一个覆盖了整个集群的文件系统。Colossus文件系统提供传统文件系统的操作接口,同时还支持复制与加密功能。Colossus是GFS的改进版本(参见文献[Ghe03])。 3.构建于Colossus之上,有几个类似数据库的服务可供选择: a.Bigtable(参见文献[Cha06])是一个NoSQL 数据库。它可以处理高达数PB的数据。Bigtable是一个松散存储的、分布式的、有顺序的、持久化的多维映射表。它使用Row Key、Column Key以及时间戳做索引。映射表中的值是按原始字节存储的。Bigtable支持“最终一致”的跨数据中心复制模型。 b.Spanner(参见文献[Cor12])是可以提供 SQL 接口以及满足一致性要求的全球数据库。 c.另外几种数据库系统,例如Blobstore也可用。每一种数据库都有自己的优势与劣势。