知识卡片
数据仓库四层
Hadoop 上的 Hive 数仓一般分四层:ods 层存放原始基础数据,如维表和事实表;mid 中间层把 ods 中多张表 join 好或按时间段汇总成中间表,一次生成、多次使用,避免每次都重复关联计算;temp 临时层存放临时数据;数据集市层按项目组织,如用户画像集市、推荐集市、搜索集市,数据可直接供项目使用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第2章《大数据算法系统架构》(源文件:_epub-src/OEBPS/Text/chapter2.xhtml)
- 结论依据:原文说明Hive数仓一般分层设计,分为ods层、mid中间层、temp临时层和数据集市层:ods存放原始基础数据(维表、事实表);mid从ods层join多表生成中间表,一次生成多次使用,避免每次关联多表重复计算;数据集市由中间层和ods层关联计算所得,如用户画像、推荐、搜索集市。
- 原始内容:如果是数据一般是分层地设计,例如可以分为ods层、mid中间层、temp临时层和数据集市层。……用来一次生成多次使用,避免每次关联多个表重复计算。