知识卡片
Spark Streaming的DStream微批抽象与Kafka两种读取方式
Spark Streaming 按时间把数据流切为微批,每批对应一个 RDD,连续 RDD 构成 DStream。Kafka 的 Receiver 方式先接收并缓存数据,Executor 故障时需额外机制保护缓存;Direct 方式按 offset 范围读取,省去接收缓存层。记录 offset 可支持重放,但不能单独保证外部写入恰好一次;还须核对处理、提交和结果写入的故障边界。
结构图:
flowchart TB
A["流式数据"] -->|"按时间切片"| B["DStream=RDD序列"]
B --> C["transformation:DStream→DStream"]
B --> D["output(≈action):触发真正执行,输出到外部系统"]
E["Kafka数据接入两种方式"]
E --> F["基于Receiver<br/>Receiver持续拉取缓存到Executor,异步处理<br/>Executor故障可能丢数据(需额外WAL兜底)"]
E --> G["Direct(无Receiver)<br/>直接按offset范围读取,边读边处理<br/>按offset范围读取并记录进度<br/>外部写入语义需另核对"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.3.1 概念与架构"与"13.3.2 程序设计基础"(源文件:_epub-src/OEBPS/text00105.html)
- 结论依据:原文说明"其核心思想是把流式处理转化为'微批处理',即以时间为单位切分数据流,每个切片内的数据对应一个RDD……基于Receiver的方法:该方法会启动若干个Receiver从Kafka中读取数据,并将数据缓存到Executor中……默认情况下,当Executor因故障失败时,该方法可能会导致数据丢失……Direct方法……不通过Receiver而是直接读取Kafka中数据进行处理……Kafka offset信息直存储到checkpoint文件中,这样,即使任务失败,也不会导致数据重复消费", 直接支撑本卡关于DStream抽象与两种Kafka读取方式的结构图。
- 原始内容:正是由于Spark Streaming采用了微批处理方式,因此只能将其作为近实时处理系统,而不是严格意义上的实时流式处理系统。