知识卡片
元数据仓与目录分工
元数据仓负责持久保存表模式、分区等定义;数据目录提供搜索、浏览和授权入口。云服务常把底层存储隐藏在目录界面后,选型仍须查清元数据由谁维护以及各引擎如何同步。
结构图:
flowchart LR
A[表模式与分区定义] --> B[元数据仓]
B --> C[数据目录]
C --> D[用户与计算引擎]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第4章《Data Catalogs》(源文件:_epub-src/OEBPS/ch04.html)
- 结论依据:原文区分 metastore 的物理存储角色与 catalog 的访问发现角色,并说明云服务可能抽象两者界限。
- 原始内容:It acts as the central metadata storage system. You can access all metadata from this central storage. A data catalog provides a mechanism to access the metadata stored within the metastore. It provides the required user interface to explore the metadata and search for various tables and attributes. Figure 4-1 shows how metastores and data