返回主题:框架与集成:Storm、Spark 与消息系统怎么接
Spark Streaming 的 DStream 把持续输入的数据按批次间隔切成一串 RDD,每个 RDD 承载一个时间片的数据。因此,流上的转换会对应到底层批次 RDD 的转换;输出操作则按批次周期执行。比如批次间隔设为 1 秒,程序会逐批处理这 1 秒收到的数据,而不是每到一条消息就独立启动一次作业。Kafka 接入这一模型时,应先明确允许的批次粒度和由此产生的等待时间。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.4 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文定义 DStream 为 RDD 序列,说明时间片与输出操作的周期性,并用 1 秒批次间隔的单词统计示例解释。
- 原始内容:DStream是随着时间推移而收到的数据的序列。在内部,每个时间区间收到的数据都作为RDD存在,而DStream是由这些RDD组成的序列(因此得名“离散化”)。