知识卡片
数据湖读取时解释模式
传统数据湖可先接收结构化和非结构化原始数据,再由消费端在读取时解释结构。这降低摄取前的模式约束,却把质量检查、字段含义和读取兼容性的责任后移;原始区不等于可信分析区。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Practical Lakehouse Architecture》第2章《Traditional Architectures and Modern Data Platforms》(源文件:_epub-src/OEBPS/ch02.html)
- 结论依据:原文说明数据湖使用 schema-on-read 承载不同形态数据,后文指出缺少事前校验会形成质量与治理问题。
- 原始内容:Schema on read approach There are no schema restrictions for the data stored in a data lake. Raw data from source systems is written “as-is” in data lakes and further transformed or modeled as needed. There is no data loss due to strict data or schema validation rules. Schema is applied when reading the data