知识卡片

普通读书笔记卡

Connect区分连接器任务与进程

理解等级:中级

Kafka Connect 用连接器在外部系统与 Kafka 之间搬运数据:Source 把外部数据导入 Kafka,Sink 把 Kafka 数据导出。Connector 定义并协调一组 Task;Task 是可分配的工作单位,分布式模式可把多个 Task 分给不同 Worker;Worker 才是承载执行的进程。例:从数据库导入时,一个 Source Connector 可把不同数据片段交给多个 Task,由多个 Worker 执行。Task 状态按本书描述交给 Kafka 的特定主题保存,不应把 Task 或 Connector 本身误当成独立进程。具体并行度仍取决于连接器实现及后续模式配置。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第9章《Kafka应用》9.2 节及图 9-1(源文件:`_epub-src/OEBPS/Text/chapter10.xhtml`;图片:`_epub-src/OEBPS/Images/328_1.jpg`) - 结论依据:原文定义 Source、Sink、Connector、Task 和 Worker 的职责,图 9-1 展示外部来源经 Connect、Kafka 到外部目标的数据方向;数据库分片例子为机制示意。 - 原始内容:Connector和Task都是逻辑工作单位,必须安排在进程中执行,而在Kafka Connect中,这些进程就是Worker。