知识卡片

普通读书笔记卡 · 2275.as.6.d.2.e

Avro容器带模式与同步标记

理解等级:中级

Avro 对象容器文件把写入模式放在文件头,数据放在块中,并用同步标记划定块边界。因此读取器可按写入模式解释记录,分布式任务也能从块边界开始处理;它适合记录流和模式演进场景。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html) - 结论依据:原文描述 Avro 文件头、数据块与同步标记;Apache Avro 规范核对了容器格式及模式解析。 - 原始内容:An Avro file consists of a header and one or more data blocks. The header consists of file metadata, including the schema, name of the compression code, and a randomly-generated sync marker that helps in splitting the file. Each data block consists of the following: Count of objects in that block Size of that block