知识卡片
从现代数据栈到实时
现代数据栈(MDS)并不那么现代:作者肯定它把强大的数据工具带给大众、降低价格、让分析师掌控数据栈,ELT、云数仓和 SaaS 管道改变了许多公司的游戏规则。但 MDS 本质上是用云和 SaaS 对旧数仓实践的重新包装,围绕云数仓范式建立,与下一代实时数据应用相比有严重限制。
驱动演变的问题:大多数看板和报表回答“是什么”和“什么时间”。问自己:“得到答案后,我接下来要做什么?”如果答案是重复性的,“做什么”就可以自动化——既然知道怎么做,为什么还要看报表?分析将被自动化取代。TikTok、Uber、谷歌、DoorDash 让人感觉神奇,是因为它们是真正的实时数据应用:一次点击背后是极其复杂而快速的数据处理和 ML。这种能力目前锁在大科技公司的专属技术栈里,但正在普及。
实时数据栈:通过流技术把实时分析和 ML 融合进应用,覆盖从应用源系统到数据处理再到 ML 的整个循环。就像 MDS 把数仓和管道带给大众,实时数据栈将把精英科技公司的实时技术作为易用云产品提供给各种规模的公司。
两大核心技术: - 流式管道:MDS 视数据为有界的批,实时应用视数据为无界连续的流。流将从“昂贵的新玩意”或单纯的传输通道,变成从根本上改变组织技术和业务流程的力量。批量获取终将像拨号猫一样被淘汰——既然流式获取越来越普遍,为什么还要在管道前端堵一套批处理?转换将从 ELT 转向类似 ETL 的流-转换-加载(STL),批处理仍用于模型训练、季度报表等,但流式转换成为常态; - 实时分析数据库:快速获取和亚秒级查询,可与历史数据结合;数仓和数据湖并未为低延迟获取和快速数据查询优化,实时数据栈将由为流设计的 OLAP 库驱动(Druid、ClickHouse、Rockset、Firebolt)。
数据建模的蜕变:自 21 世纪初就没有真正的新内容,批处理建模不适合流数据。新的建模技术将出现在生成数据的系统中而不是数仓中,从应用生成数据的地方开始纳入语义、指标、血缘和数据定义,并在生命周期每个阶段建模。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 数据工程的未来 · 查看原书依据
如果这个问题的答案是重复性的,那么“做什么”就可以自动化了。