知识卡片
Avro的Writer模式来源
Avro 的编码里没有字段标签和类型,Reader 必须知道写入时用的 Writer 模式才能解码。但不能把整个模式放进每条记录——模式可能比数据还大,二进制编码省下的空间就白费了。答案取决于使用场景:
| 场景 | 做法 |
|---|---|
| 有大量记录的大文件(常见于 Hadoop) | 所有记录同一模式,在文件开头只写一次 Writer 模式(Avro 对象容器文件) |
| 记录各自独立写入的数据库 | 不同记录可能用不同模式写入;每条记录开头带版本号,数据库保存模式版本列表,读取时按版本号取 Writer 模式(如 LinkedIn 的 Espresso) |
| 通过网络连接发送记录 | 双方在建立连接时协商模式版本,在连接生命周期内使用(Avro RPC) |
带版本的模式数据库在任何情况下都很有用:它本身就是文档,还让你有机会在部署前检查模式兼容性。版本号可以是递增整数,也可以是模式的散列。
为什么没有标签号是优点:Avro 对动态生成的模式更友好。把关系库导出成 Avro 文件时,可以每次从数据库模式自动生成 Avro 模式(每张表一个记录模式、每列一个字段),库表加删列后重新生成即可,靠字段名匹配旧 Reader 模式。若用 Thrift 或 Protobuf,每次库表变更都要手工维护列名到标签号的映射,还要小心不重用旧标签。对动态类型语言和 Pig 这样的数据处理工具,自描述的容器文件可以直接打开分析,无需代码生成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第四章:编码与演化 · 查看原书依据
具有模式版本的数据库在任何情况下都是非常有用的,因为它充当文档并为您提供了检查模式兼容性的机会【24】。
参考来源
- 位置:《数据密集型应用系统设计》第04章《第四章:编码与演化》Avro·但Writer模式到底是什么?(源文件:extracted/数据密集型应用系统设计/_epub-src/ch4_split_002.html,来源项目 book-sources)
- 结论依据:第四章Avro“但Writer模式到底是什么?”说明大文件、独立写入记录的数据库和网络连接三种场景下Reader获取Writer模式的方式及模式版本库的作用;“动态生成的模式”与“代码生成和动态类型的语言”说明Avro无标签号对动态生成模式和动态语言的好处。
- 原始内容:具有模式版本的数据库在任何情况下都是非常有用的,因为它充当文档并为您提供了检查模式兼容性的机会【24】。