知识卡片
快速追随者与Kappa
快速追随者模式:用连续 CDC 把分析数据库设为生产库的“从库”,在略微滞后于生产库的情况下查询统计和聚合。
为什么不直接查生产库?原则上可以,实践中不行——生产库一般无法在承载生产负载的同时跑大型分析扫描,会拖慢甚至搞垮应用。作者知道一个事故:新入职的分析师在大型连锁杂货店的生产库上运行 SELECT *,导致关键库存数据库瘫痪三天。快速追随者能在对生产影响最小的情况下提供实时分析。
追随者可以是事务库,但用合适的 OLAP 系统更有优势:Druid、BigQuery 把流缓存与列存储结合(类似 Lambda 架构),很适合在大量历史数据上计算近实时更新的统计。
局限:它没有从根本上重新思考批处理查询模式——仍在对表的当前状态跑 SELECT,错过了根据流中的变更动态触发事件的机会。
Kappa 架构:把所有数据当作事件处理,存储为流而不是表。事件可以来自 CDC、应用后端、物联网设备群。流式存储不只是缓冲区,而是以很长的保留期(数月甚至数年,远长于纯实时系统通常最多一周)保留事件,并直接从中查询。核心思想是把流式存储同时当作实时传输层和查询历史数据的数据库:可用 Kafka KSQL 直接做聚合、统计甚至会话;复杂查询或需与其他数据结合时,由 Spark 读取一个时间范围的数据计算,或为 Flink、Beam 等流处理器提供支持。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
Kappa架构的“核心思想”是将流式存储作为用于检索和查询历史数据的实时传输层和数据库。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.5 流数据上的查询(流数据的基本查询模式:快速追随者的方法;Kappa架构)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.1.5节介绍基于CDC的快速追随者模式(含生产库被SELECT *拖垮的事故)及其局限,以及把流式存储同时作为传输层和历史查询数据库的Kappa架构。
- 原始内容:Kappa架构的“核心思想”是将流式存储作为用于检索和查询历史数据的实时传输层和数据库。