返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡

Kafka值需显式解码

理解等级:中级

在本书的 Kafka Structured Streaming 示例中,读出的 value 仍是字节数据;若后续要把它当字符串做频次统计,须显式选择并转换该列,如 CAST(value AS STRING)。Kafka 里的序列化格式与 Spark 表列类型是两层契约:如果上游并非按文本编码,直接强转字符串不能得到正确业务值,应该先按实际格式解码并确认 Schema。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.8 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文示例显式选择并转换 `value`,同时说明 key/value 默认以字节数组反序列化;格式边界是对这两个事实的应用推论。 - 原始内容:key.deserializer/value.deserializer:总是使用 ByteArrayDeserializer 将key/value反序列化为字节数组。可以使用DataFrame操作显式地反序列化key/value。