知识卡片
读时模式与数据湖
MPP 数据库要求导入前仔细建模,得到规整的数据,但拖慢了跨组织收集数据的速度。分布式文件系统里的文件只是字节序列,可以承载记录、文本、图片等任意数据,所以 Hadoop 允许先把数据原样转储进 HDFS,推迟解释的决定,这是[[读时模式与写时模式]]在组织层面的放大。这被称为寿司原则,原始数据更好:把解释数据的负担转给消费者。原样集中收集、再逐步建模,就是数据湖的由来。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
Hadoop开放了将数据不加区分地转储到HDFS的可能性,允许后续再研究如何进一步处理
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"Hadoop与分布式数据库的对比""存储多样性"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文对比MPP数据库要求前期建模与分布式文件系统承载任意格式数据的差异,引出读时模式方法、寿司原则"原始数据更好"以及数据湖概念,说明Hadoop常被用于ETL的原始数据落地阶段,直接支撑本卡片结论。
- 原始内容:Hadoop开放了将数据不加区分地转储到HDFS的可能性,允许后续再研究如何进一步处理……这种方法被称为寿司原则(sushi principle):“原始数据更好”【57】。……因此,Hadoop经常被用于实现ETL过程