知识卡片
数据湖1.0为何沦为沼泽
数据湖的承诺:不对数据施加严格结构,把所有结构化和非结构化数据都倒进一个中央位置,按需启动集群、自选处理技术(MapReduce、Spark、Presto、Hive 等)。始于 HDFS,后迁往廉价、几乎无限的云对象存储。
数据湖 1.0 为何普遍未能兑现:
- 成了垃圾场:“数据沼泽”“暗数据”“一次写入永不读取(WORN)”这些词正是在项目失败时被创造的;数据增长到无法管理,几乎没有模式管理、编目和发现工具;
- 只写设计:GDPR 等要求有针对性删除用户记录时造成巨大麻烦;删除或更新一行这样的简单 DML 很痛苦,往往要创建全新的表;
- 处理困难:连接这样的简单转换用 MapReduce 写起来很头疼,Pig、Hive 改善了处理,却没解决数据管理的基本问题——数仓阵营可以反驳说,数仓开箱即用地提供基本数据管理,SQL 也是编写复杂高效查询的有效工具;
- 成本承诺落空:本想用开源和廉价硬件避开专有 MPP 的天价合同,结果管理 Hadoop 的复杂性迫使公司高薪雇大量工程师,还常购买商业发行版。
作者也提醒不要低估它:Netflix、Facebook 等资源充足、高度数据化的公司从中获得了巨大价值;但对很多组织来说,它成了浪费、令人失望、成本不断上升的“内部超级垃圾场”。
融合:Databricks 提出数据湖仓一体——把数仓的控制、数据管理和数据结构带到对象存储上,支持 ACID 事务(原始数据湖只能写入不能更新删除)。与此同时云数仓也演变得很像数据湖(计算存储分离、PB 级查询、半结构化与非结构化对象、与 Spark、Beam 集成)。作者认为两者能力会融合到用户日常很少察觉边界,未来的选择是挑一个融合的数据平台(AWS、Azure、Google Cloud、Snowflake、Databricks)。
现代数据栈:用云上即插即用的现成组件(管道、存储、转换、治理、监控、可视化)搭建模块化、具成本效益的架构,核心目标是降低复杂性、提高模块化;成果是自助服务、敏捷的数据管理和定价清晰的工具,活跃的社区也是其核心。作者认为在分析工程中它现在是、也将继续是默认选择。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 设计好的数据架构 · 查看原书依据
尽管有承诺和炒作,数据湖1.0有严重的缺点。数据湖成了垃圾场。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.4.2 数据湖;3.4.3 融合、下一代数据湖和数据平台;3.4.4 现代数据栈(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources)
- 结论依据:3.4.2节说明数据湖的承诺及数据湖1.0沦为沼泽的原因(缺乏管理工具、只写难以删除、处理复杂、成本反升)并肯定其对大型科技公司的价值;3.4.3节介绍湖仓一体与云数仓的融合趋势;3.4.4节介绍现代数据栈的目标、成果与社区。
- 原始内容:尽管有承诺和炒作,数据湖1.0有严重的缺点。数据湖成了垃圾场。