返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 2275.as.6.g.7.a

从Lambda到批是流的特例

理解等级:高级

2010 年代初至中期,Kafka 与 Storm、Samza 等让流数据爆发,数据工程师需要把批处理和流处理协调到一个架构里。

架构 做法 问题
Lambda 不可变、只追加的源同时发往流处理(“速度层”,常用 NoSQL,低延迟)和批处理(数仓中预计算聚合视图);服务层合并两边结果 维护不同代码库的多个系统,代码和数据极难协调,容易出错。作者:结合流与批做分析时,Lambda 不是首选,技术和实践已经前进
Kappa(Jay Kreps 2014) 以流处理平台为所有处理的主干——消化、存储、服务;直接读实时事件流,重放大块数据做批处理 未被广泛采用:流处理对许多公司仍显神秘,说易做难;实践中复杂昂贵,对庞大历史数据,批存储与批处理更高效、更具成本效益
Dataflow 模型(Google)/Apache Beam 把所有数据视为事件,聚合在各种窗口上进行;实时流是无界数据,批是有界事件流,边界本身就是窗口 实时与批处理在同一系统中用几乎相同的代码完成

Lambda 和 Kappa 都试图解决 2010 年代 Hadoop 生态的局限,把原本可能不适合的复杂工具“用胶带粘在一起”,但它们为统一批流的持续进步提供了灵感。核心难题是统一多个代码路径:Kappa 虽统一了队列和存储层,仍需不同工具做实时统计和批量聚合。

“批处理是流处理的特例”的理念如今更加普遍,Flink、Spark 等框架都采用了类似方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.4.5 Lambda架构;3.4.6 Kappa架构;3.4.7 数据流模型和统一的批处理与流处理(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources) - 结论依据:3.4.5节介绍Lambda架构的速度层、批处理层、服务层及多代码库难以协调的问题;3.4.6节介绍Kappa架构以流平台为主干及其未被广泛采用的原因;3.4.7节介绍Dataflow模型与Beam把批视为有界流、在窗口上聚合以统一代码路径,以及批处理作为流处理特例的理念。 - 原始内容:“批处理作为流处理的特例”的理念现在更加普遍。