知识卡片

结构图卡

Snowflake三层架构:shared-all与shared-nothing的混合体

理解等级:未标注

分布式数据库架构常被简单归为”共享一切”(shared-all,所有计算 节点访问同一份中央存储)或”什么都不共享”(shared-nothing,每 节点各管各的数据)两大阵营,两者各有代价:shared-all容易在 存储访问上产生瓶颈,shared-nothing则难以做到不同计算节点间 灵活共享同一份数据。Snowflake没有选边站,而是把这两种模式 分别用在系统的不同层次上,用三层架构把两者的优点拼到了一起。 存储层像shared-all:所有数据集中持久化在一个中央存储库(AWS S3/Azure Blob)里,任何计算节点都能访问同一份数据,不需要 预先把数据切分到某个特定节点。计算层像shared-nothing:由多个 互相独立的虚拟仓库(VM)组成,每个VM是一个独立的计算集群, 在本地缓存整份数据集的一部分,VM之间不共享计算资源,因此 互不影响性能——这保留了shared-nothing横向扩展和并发处理的 优势。云服务层则是额外的协调层,负责查询优化、事务管理、访问 控制等长期运行的服务,本身采用多租户机制在多个用户间共享, 进一步降低了管理开销。这套三层结构说明”shared-all vs shared- nothing”不必是一次只能选一个的架构决策,而是可以按层次拆开: 底层需要的是数据的统一可见性,上层需要的是计算的独立弹性, 把两种模式各自用在最适合它的那一层,才是存算分离真正的价值 所在。

结构图:

flowchart TD
    A[云服务层<br/>查询优化/事务管理/访问控制<br/>多租户共享] --> B[计算层<br/>多个独立VM虚拟仓库<br/>类似shared-nothing<br/>VM间互不共享/互不影响]
    B --> C[存储层<br/>中央数据存储库 S3/Blob<br/>类似shared-all<br/>任意计算节点均可访问]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《新型数据库系统:原理、架构与实践》第8章"云数据库 技术"8.3.1节"Snowflake"(源文件: _epub-src/EPUB/xhtml/Section0001_0010.xhtml) - 结论依据:原文明确"Snowflake是shared-all模式和shared-nothing 模式的混合体……和shared-all模式类似,存储层采用一个中央数据 存储库来持久化数据,并且可以从平台的任何一个计算节点进行 访问……它也和shared-nothing模式类似,Snowflake通过MPP计算 集群处理查询,集群中的每个计算节点都在本地缓存整个数据集的 一部分",并进一步说明系统由存储层、计算层、云服务层三层 构成,直接支撑本卡片的分层混合架构结论。 - 原始内容:Snowflake是shared-all模式和shared-nothing模式的 混合体……Snowflake主要由3个层次构成,分别是存储层、计算层 和云服务层。