知识卡片
Hive事务依赖表层机制
ORC 是文件格式,Hive 的事务保证还需要事务表配置、提交记录和基于基础文件与增量文件的读写机制。不能因为文件后缀为 ORC 就认定表支持 ACID;选型须核对 Hive 版本、表属性和具体写入路径。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html)
- 结论依据:原文指出 Hive 对 ORC 有受限事务支持;Apache ORC 官方 ACID 文档进一步说明事务由 Hive 的基础文件、增量目录及提交可见性机制实现。
- 原始内容:Hive with ORC file format provides limited ACID support; however, there is no ACID support for formats like Parquet and Avro, which can lead to data corruption and concurrency issues. Limited performance Query planning often takes longer, as Hive does not maintain versions or snapshots of data. Hive has to list all files within a