返回主题:框架与集成:Storm、Spark 与消息系统怎么接
在本书的 Kafka Structured Streaming 示例中,读出的 value 仍是字节数据;若后续要把它当字符串做频次统计,须显式选择并转换该列,如 CAST(value AS STRING)。Kafka 里的序列化格式与 Spark 表列类型是两层契约:如果上游并非按文本编码,直接强转字符串不能得到正确业务值,应该先按实际格式解码并确认 Schema。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文示例显式选择并转换 `value`,同时说明 key/value 默认以字节数组反序列化;格式边界是对这两个事实的应用推论。
- 原始内容:key.deserializer/value.deserializer:总是使用 ByteArrayDeserializer 将key/value反序列化为字节数组。可以使用DataFrame操作显式地反序列化key/value。