知识卡片
两种接入方式有不同边界
本书 Spark 2.3.1 语境下,Spark Streaming 接入 Kafka 有 Receiver 与 Direct 两条路径。Receiver 先由接收器取得消息,再交给 Spark;为降低任务异常造成的数据丢失风险,可先写 WAL 再更新 Kafka 消费位移,但故障窗口可能让同一消息再次被拉取。其 RDD 分区与 Kafka 分区不对应,单纯增加 Kafka 分区不会等量提高 Spark 计算并行度。Direct 按 Kafka 分区位移范围形成批次,并由应用管理处理位移,省去另一份 WAL。两者都要单独处理输出端的重复副作用。
结构图:
flowchart TB
K[Kafka 数据] --> R[Receiver 接收]
R --> W[WAL 持久化]
W --> A[更新 Kafka 消费位移]
K --> D[Direct 按分区位移读取]
D --> O[应用管理处理位移]
A --> S[Spark 批次处理]
O --> S
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.5 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文比较 Receiver 的 WAL 与重复拉取窗口、Direct 的分区位移范围和位移管理;版本限制来自本节依赖说明。
- 原始内容:WAL的方式可以保证从Kafka中接收的数据不被丢失。但是在某些异常情况下,一些数据被可靠地保存到了 WAL 中,但是还没有来得及更新消费位移,这样会造成 Kafka 中的数据被Spark拉取了不止一次。