知识卡片

普通读书笔记卡 · 2280.q.9

读时模式与数据湖

理解等级:未标注

MPP 数据库要求导入前仔细建模,得到规整的数据,但拖慢了跨组织收集数据的速度。分布式文件系统里的文件只是字节序列,可以承载记录、文本、图片等任意数据,所以 Hadoop 允许先把数据原样转储进 HDFS,推迟解释的决定,这是[[读时模式与写时模式]]在组织层面的放大。这被称为寿司原则,原始数据更好:把解释数据的负担转给消费者。原样集中收集、再逐步建模,就是数据湖的由来。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"Hadoop与分布式数据库的对比""存储多样性"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文对比MPP数据库要求前期建模与分布式文件系统承载任意格式数据的差异,引出读时模式方法、寿司原则"原始数据更好"以及数据湖概念,说明Hadoop常被用于ETL的原始数据落地阶段,直接支撑本卡片结论。 - 原始内容:Hadoop开放了将数据不加区分地转储到HDFS的可能性,允许后续再研究如何进一步处理……这种方法被称为寿司原则(sushi principle):“原始数据更好”【57】。……因此,Hadoop经常被用于实现ETL过程