返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡

两种流处理入口不同

理解等级:初级

Spark Streaming 是 Spark Core API 的流处理扩展;Structured Streaming 则建立在 Spark SQL 上,沿用结构化数据的 DataFrame/Dataset 抽象。两者都能处理流数据,但选 Kafka 集成方式时,不能把两套编程入口的模型和示例混用。此处是本书基于 Spark 2.3.1 的分类,具体接口仍需按所用版本核对。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章《Kafka与Spark的集成》(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文分别说明 Spark Streaming 对 Core API 的扩展关系,以及 Structured Streaming 建立在 Spark SQL 之上的关系;据此区分两条 Kafka 集成路线。 - 原始内容:Spark Streaming属于Spark Core API的扩展,支持实时数据流的可扩展、高吞吐、容错的流处理。Spark SQL是Spark的一个结构化数据处理模块,提供了DataFrame/Dataset的编程抽象,可以看作一个分布式查询引擎。从Spark 2.0开始又引入了Structured Streaming,它是建立在Spark SQL之上的可扩展和高容错的流处理引擎。