返回主题:Spark内核执行机制

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 3103

微批把连续流转成RDD序列

理解等级:中级

Spark Streaming 将连续到来的流按时间段切成小批,每批形成一个 RDD,再交给 Spark 引擎处理。DStream 表示这些 RDD 构成的连续序列。于是流式作业在实现上是反复执行的小批处理,批次边界同时影响数据缓存、输出节奏和结果时延;它与逐事件处理的执行模型不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.2.1–6.2.2《系统架构与流的描述》(源文件:_epub-src/OEBPS/Text/chapter99.xhtml、chapter100.xhtml;图6-2:_epub-src/OEBPS/Images/t6-2-i.jpg) - 结论依据:原文与图6-2说明输入流被切成小块 RDD,DStream 由连续 RDD 构成,处理由 Spark 引擎完成。 - 原始内容:Spark Streaming将接收的实时数据流分成一个个的RDD,然后由Spark引擎对RDD做各种处理……DStream由一系列的RDD构成,每个RDD代表一段间隔内的数据。