知识卡片
Connect配置分开定义运行与数据格式
本书的独立模式文件 Source 例子把 Worker 运行参数与 Connector 的数据来源参数分开。Worker 配置 Kafka 引导地址、键值 converter、JSON 是否带 schema,以及位移存储文件和刷新间隔;Connector 配置唯一名称、实现类、最大 Task 数、输入文件与目标主题。比如 source.txt → topic-connect,若 Worker 使用 JsonConverter 且启用 schema,主题里的消息格式会随之改变;换成 Sink 时,连接器读取主题并写到目标文件,Worker 的格式转换也须与消息内容匹配。排查“数据到了但格式不对”时,要同时核对两层配置,不能只改连接器的文件路径。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第9章《Kafka应用》9.2.1 节(源文件:`_epub-src/OEBPS/Text/chapter10.xhtml`;配置图:`_epub-src/OEBPS/Images/329_1.jpg`、`329_2.jpg`、`332_2.jpg`)
- 结论依据:原文分别解释 Worker 与 Source Connector 配置项,并说明 JSON/schema 输出与配置对应;Sink 例子改用 `StringConverter`。排查提示是由两层配置职责作出的推论。
- 原始内容:key.converter 和value.converter 参数指定 Kafka 消息中 key 和 value 的格式转化类