知识卡片

普通读书笔记卡 · 2280.h.1.a.13.p

微批与真正流处理

理解等级:中级

流查询 vs 流转换:流查询动态呈现数据当前状况;流转换为下游消费准备数据。例如物联网事件流带设备 ID,流处理引擎按设备 ID 查询另一个数据库中的设备元数据,生成更丰富的新事件传给另一个流,再在新流上运行实时查询和指标。在流领域,转换和查询是一个连续的过程——动态计算窗口聚合再输出到目标流,是转换还是查询?现有术语已不够用。

流式 DAG:编排本质上是批处理概念,若要实时丰富、合并、拆分多个流(如把网站点击流和物联网数据统一成用户活动视图,并各自预处理为标准格式),过去要把 Kafka 等流式存储和 Flink 等处理器组合起来,像搭一台有许多主题和任务的鲁布·戈德堡机械。Pulsar 把 DAG 作为核心流抽象,可在单一系统内用代码定义。

微批 vs 真正的流处理: - 微批:把面向批处理的框架用于流,频率从每两分钟到每秒(如 Spark Streaming),资源合适时高频也表现很好; - 真正的流处理(Beam、Flink):一次处理一个事件,开销巨大;而且其中很多过程(如窗口指标)仍是分批的。

怎么选:问窗口更新频率和可接受延迟。每隔几分钟发布的黑色星期五销售指标,设好微批频率就够;运维团队为检测 DDoS 需要每秒计算指标,就选真正的流处理。没有通用答案——团队已有 Spark 经验就能极快给出微批方案。领域知识和实际测试无可替代:找中立专家,在云上测试替代方案,警惕供应商挑选的、与现实不符的基准。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.3 流转换和处理(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.3节区分流查询与流转换并指出两者是连续过程,介绍流式DAG及Pulsar的简化,对比微批与真正流处理并给出按更新频率和延迟选型、实际测试的建议。 - 原始内容:领域知识和实际测试是无可替代的。