知识卡片
提交时间线支持增量读取
Hudi 记录表提交时间线,增量查询可从指定提交点之后读取变化,避免每次重新扫描全表。它适合持续 ETL,但下游仍需管理检查点、重放和历史保留期限。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第3章《Storage: The Heart of the Lakehouse》(源文件:_epub-src/OEBPS/ch03.html)
- 结论依据:原文说明 Hudi 的 commit timeline 和按提交时间的增量查询;官方查询文档也确认增量查询能力。
- 原始内容:Hudi maintains a timeline of all commits performed on the table with file information created as part of each transaction. Incremental queries use these commits to fetch records inserted and to update after a specific commit time. Supported query types Hudi supports three types of queries: Snapshot queries on real-time data, using a combination of