知识卡片

普通读书笔记卡 · 2395.j.1

Thrift/Protobuf/Avro三大序列化框架的设计取舍

理解等级:未标注

三大”Language of Data”框架都用IDL显式声明schema,但在”如何实现兼容性”这个核心问题上走了不同路线。Thrift和Protobuf都靠给每个字段分配一个唯一的域编号来实现前后向兼容——只要新增字段用新编号、不复用不修改旧编号,新旧代码就能互相兼容,同时都需要预先用编译器把IDL翻译成目标语言代码(静态代码生成),这意味着schema变化后需要重新生成并编译代码。Avro则反其道而行之:它不需要域编号,而是把schema和数据存放在一起、靠字段名称本身解决兼容性问题;也不强制要求代码生成,读取数据时schema信息是随数据一起提供的,因此可以用动态类型的方式处理数据,天然更适合构建不预先知道具体数据结构的通用数据处理系统(这也是Avro能被Hadoop生态广泛采用为默认序列化格式的原因之一)。三者的功能侧重也不同:Thrift自带RPC实现,因此除了序列化,也能直接当作跨语言远程调用框架使用;Protobuf本身侧重序列化格式;书中单一 MergedDoc 测试里,它相对 Thrift 的体积和解析时间较优,而 Avro 在该测试中输出体积最小。这些结果不能当成跨数据模型和运行环境的通用排名。可迁移启发:选择数据交换格式时,”是否需要代码生成”“兼容性靠什么锚定(编号还是名称)”“是否需要内置RPC”这三个维度比单纯比较”谁更快”更能决定哪个框架适合当前场景——比如构建通用数据处理平台(不预先知道每种数据的具体结构)时,Avro式的动态类型往往比强类型代码生成更省事。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第5章《数据序列化与文件存储格式》之"5.2 数据序列化方案"(源文件:_epub-src/OEBPS/text00036.html) - 结论依据:原文说明"Thrift用struct关键字……域编号:每个域必须是唯一(但可以不连续)的整数,Thrift用该编号实现向后向前兼容性……相比于其他序列化框架,Thrift最强大之处在于提供了RPC实现……Protobuf……由于采用了更加紧凑的数据编码方式,大部分情况下……比Thrift占用存储空间更小,且解析速度更快……Avro……动态类型:Avro不需要生成代码,它将数据和schema存放在一起……不需要显式指定域编号:处理数据时新旧schema都是已知的,因此通过使用字段名称即可解决兼容性问题",支撑三者在字段标识、代码生成和 RPC 能力上的书内比较;性能排序只来自本书的特定测试。 - 原始内容:三者所花时间从小到大依次为:Protobuf、Thrift和Avro……四者序列化后由小到大依次为Avro、Protobuf、Thrift(compact)和Thrift(binary)。