知识卡片
新版Source拆职责
内容
Flink 1.11 后 Source API 将分片发现、分配和读取职责拆开,便于并行读取和容错恢复。发散:连接器演进常从“能读”走向“可协调、可恢复地读”。
参考来源
- 位置:《Flink原理与实践》第7章《Flink连接器》(源文件:_epub-src/OEBPS/Text/chapter10.xhtml)
- 结论依据:原文围绕“Flink 1.11之后的Source”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:urceFunction和RichParallelSourceFunction两个类。 7.2.2 Flink 1.11之后的Source 仔细分析上面的Source接口,可以发现这样的设计只适合进行流处理,批处理需要另外的接口。Flink在1.11之后提出了一个新的Source接口,主要目的是统一……