知识卡片

普通读书笔记卡

DStream按时间切成RDD

理解等级:中级

Spark Streaming 的 DStream 把持续输入的数据按批次间隔切成一串 RDD,每个 RDD 承载一个时间片的数据。因此,流上的转换会对应到底层批次 RDD 的转换;输出操作则按批次周期执行。比如批次间隔设为 1 秒,程序会逐批处理这 1 秒收到的数据,而不是每到一条消息就独立启动一次作业。Kafka 接入这一模型时,应先明确允许的批次粒度和由此产生的等待时间。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.4 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文定义 DStream 为 RDD 序列,说明时间片与输出操作的周期性,并用 1 秒批次间隔的单词统计示例解释。 - 原始内容:DStream是随着时间推移而收到的数据的序列。在内部,每个时间区间收到的数据都作为RDD存在,而DStream是由这些RDD组成的序列(因此得名“离散化”)。