知识卡片
Avro容器带模式与同步标记
Avro 对象容器文件把写入模式放在文件头,数据放在块中,并用同步标记划定块边界。因此读取器可按写入模式解释记录,分布式任务也能从块边界开始处理;它适合记录流和模式演进场景。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html)
- 结论依据:原文描述 Avro 文件头、数据块与同步标记;Apache Avro 规范核对了容器格式及模式解析。
- 原始内容:An Avro file consists of a header and one or more data blocks. The header consists of file metadata, including the schema, name of the compression code, and a randomly-generated sync marker that helps in splitting the file. Each data block consists of the following: Count of objects in that block Size of that block