知识卡片
数据网格的四个组成
数据网格是对庞大单一数据平台(集中式数据湖和数仓)以及“数据大分水岭”(数据被分为运营数据与分析数据)的回应,把软件架构中的领域驱动设计应用于数据架构。
Zhamak Dehghani 的核心是去中心化:要去中心化单一数据平台,就要扭转对数据、数据位置和所有权的看法——不是把数据从各领域流入中央拥有的数据湖或平台,而是由领域以易于使用的方式托管和服务自己的领域数据集。
四个关键组成:
- 面向领域的分散式数据所有权和架构;
- 数据作为产品;
- 自助式数据基础设施作为平台;
- 联合计算治理。
与集中化方案的对比(见 3.3.3 节):集中化是一个团队从所有领域收集数据并协调供全组织使用(传统数仓);数据网格是每个软件团队负责准备自己的数据供其他部门使用。
其他架构:数据编织、数据中心、缩放架构、元数据优先架构、事件驱动架构、实时数据栈等,新架构会随实践成熟和工具简化不断出现。作者的建议:注意新架构如何帮助你的组织,培养对生态发展的高层认识;保持开放,不要对某一种方法产生情感依恋;确认潜在价值后再深入学习并做出具体决定。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 设计好的数据架构 · 查看原书依据
为了去中心化单一数据平台,我们需要扭转我们对数据、数据位置和所有权的看法。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.4.9 数据网格;3.4.10 其他数据架构示例(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources)
- 结论依据:3.4.9节说明数据网格对单一数据平台与数据大分水岭的回应、Dehghani关于去中心化的论述及四个关键组成;3.4.10节列举其他数据架构,并建议保持开放、不对某种方法产生情感依恋。
- 原始内容:为了去中心化单一数据平台,我们需要扭转我们对数据、数据位置和所有权的看法。