知识卡片

结构图卡 · 2395.j

序列化技术演化四阶段与Schema演化的三种兼容性场景

理解等级:未标注

序列化技术的选型不是一步到位的,而是随着需求复杂度逐步”踩坑升级”出来的四个阶段。阶段1直接把数据转成分隔符分隔的文本字符串,简单但表达不了嵌套数据、二进制数据,且schema一变所有读写代码全部要改。阶段2改用编程语言内置的序列化机制(如Java Serialization),解决了嵌套数据和二进制数据的表达问题,但数据格式被绑死在某一种语言上,跨语言场景无法直接读写。阶段3换成跨语言、应用广泛的JSON/XML,解决了跨语言问题,却暴露出性能问题:解析速度慢,而且没有schema约束导致每条记录都要重复存储字段名,冗余量大。阶段4引入带schema描述的序列化框架(Thrift/Protobuf/Avro,即”Language of Data”),用统一的IDL(接口描述语言)显式声明每个字段的类型,既避免了字段名重复存储的开销,又为跨语言代码生成和数据共享打下基础,这正是当前主流大数据序列化方案落脚的阶段。有了schema后还必须解决一个新问题——schema演化:数据结构总会随需求变化而修改(增删字段),演化机制必须保证读写双方即使用的schema版本不同,也能正确交互,具体分三种情况:读写双方schema相同,直接按定义读写;写方用旧schema、读方用新schema,读方能自动把新增字段填成默认值;写方用新schema、读方用旧schema,读方能自动过滤掉自己不认识的新增字段。可迁移启发:任何跨服务、跨版本传递数据结构的场景,都应该提前设计好类似”新增字段可选、旧读者自动忽略陌生字段”这类前后向兼容规则,而不是等接口变更时才临时补救。

结构图:

flowchart TB
  A["序列化技术演化四阶段"]
  A --> S1["阶段1:分隔符文本<br/>无法表达嵌套/二进制数据"]
  S1 --> S2["阶段2:语言内置序列化<br/>(如Java Serialization)<br/>绑定特定语言,无法跨语言"]
  S2 --> S3["阶段3:JSON/XML<br/>跨语言,但解析慢+字段名重复存储"]
  S3 --> S4["阶段4:带schema的Language of Data<br/>(Thrift/Protobuf/Avro)<br/>跨语言+紧凑编码+代码生成"]
  S4 --> E["Schema演化三情形"]
  E --> E1["读写schema相同:直接读写"]
  E --> E2["写旧读新:新增字段填默认值"]
  E --> E3["写新读旧:自动过滤陌生字段"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第5章《数据序列化与文件存储格式》之"5.1 数据序列化的意义"(源文件:_epub-src/OEBPS/text00035.html) - 结论依据:原文说明"阶段1:不考虑任何复杂的序列化方案,直接将数据转化成字符串……阶段2:采用编程语言内置的序列化机制……阶段3:为了解决阶段2面临的问题,我们决定使用应用范围广、跨语言的数据表示格式,比如JSON和XML……阶段4:到这一阶段,我们期望出现一种带有schema描述的数据表示格式……(1)读写两端采用相同schema……(2)Writer端采用旧schema,Reader端采用新schema,Reader可根据新schema读出数据,并自动将新增字段设置为默认值;(3)Writer端采用新schema,Reader端采用旧schema,Reader可根据旧schema读出数据,并自动过滤掉新增字段",直接支撑本卡四阶段演化与schema演化三情形的结构图。 - 原始内容:常用的有Thrift [3] ,Protocol Buffers和Avro,它们被称为“Language Of Data”。……支持schema演化,即允许按照一定规则修改数据的schema,仍可保证读写模块向前向后的兼容性,具体如图5-1所示,三幅图分别说明了schema演化过程: