返回主题:框架与集成:Storm、Spark 与消息系统怎么接
Spark Streaming 是 Spark Core API 的流处理扩展;Structured Streaming 则建立在 Spark SQL 上,沿用结构化数据的 DataFrame/Dataset 抽象。两者都能处理流数据,但选 Kafka 集成方式时,不能把两套编程入口的模型和示例混用。此处是本书基于 Spark 2.3.1 的分类,具体接口仍需按所用版本核对。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章《Kafka与Spark的集成》(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文分别说明 Spark Streaming 对 Core API 的扩展关系,以及 Structured Streaming 建立在 Spark SQL 之上的关系;据此区分两条 Kafka 集成路线。
- 原始内容:Spark Streaming属于Spark Core API的扩展,支持实时数据流的可扩展、高吞吐、容错的流处理。Spark SQL是Spark的一个结构化数据处理模块,提供了DataFrame/Dataset的编程抽象,可以看作一个分布式查询引擎。从Spark 2.0开始又引入了Structured Streaming,它是建立在Spark SQL之上的可扩展和高容错的流处理引擎。