知识卡片
写时模式与读时模式
数据目录:组织内所有数据的集中元数据存储,跨运营和分析数据源,呈现血缘与关系,允许用户编辑描述。实现方式: - 应用直接集成目录 API(理想状态); - 自动扫描层从数据湖、数仓、业务库收集或推断元数据(关键关系、敏感数据); - 数据门户与社会层(Wiki 功能,用户补充说明、提问、发布更新)。 技术上,它是湖仓一体在查询时发现表的关键成分;组织上,它简化跨团队沟通协作。
数据共享:与特定实体共享特定数据并精确定义权限;云多租户让协作更容易,但企业必须仔细控制谁能与谁共享,防止意外暴露或故意泄露。
模式:数据的预期形式——格式、结构化程度、数据类型、层次关系、与其他数据的关联。模式不一定是关系型的,图像的格式、分辨率也是模式信息。模式像罗塞塔石碑,告诉我们如何读数据。
| 写时模式 | 读时模式 | |
|---|---|---|
| 做法 | 表有集成模式,写入必须符合(数据湖需集成模式元存储) | 写入时动态创建,读者读取时确定模式 |
| 优点 | 执行数据标准,未来更易消费 | 灵活,几乎任何数据都能写入 |
| 代价 | 写入受约束 | 未来消费更困难 |
读时模式最好用自带模式信息的格式(Parquet、JSON);CSV 因模式不一致而臭名昭著,不推荐。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
写时模式的主要优点是,它可以执行数据标准,使数据在未来更容易被消费和利用。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.4.1 数据目录;6.4.2 数据共享;6.4.3 模式(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.4.1节介绍数据目录的三种实现方式与技术、组织用例;6.4.2节说明数据共享的价值与安全挑战;6.4.3节定义模式并对比写时模式与读时模式的做法和取舍。
- 原始内容:写时模式的主要优点是,它可以执行数据标准,使数据在未来更容易被消费和利用。