知识卡片
存储选型与数据温度
存储为何复杂:云上架构通常同时用多种存储;很少有存储只做存储——对象存储也可能支持查询(如 S3 Select),云数仓能存储、处理并服务数据,Kafka、Pulsar 同时是获取、存储与查询系统;存储方式会影响生命周期各阶段如何使用数据。
评估存储系统的关键问题:
- 是否满足架构要求的读写速度?会不会成为下游瓶颈?
- 你是否理解它的工作原理,是在最佳使用还是做“不自然的行为”——例如在对象存储上做高频随机更新,是有显著性能开销的反模式;
- 能否承受预期的未来规模(总容量、读操作率、写入量)?
- 下游能否在 SLA 内取到数据?
- 是否在捕获模式演化、数据流、血缘等元数据——元数据是对未来的投资,显著提升可发现性和机构知识;
- 是纯存储(对象存储)还是支持复杂查询(云数仓)?模式不可知、灵活模式还是强制模式?
- 如何跟踪主数据、黄金记录、数据质量和血缘以支持治理?
- 如何满足法规遵从与数据主权(能否只存在某些地理位置)?
数据温度由访问频率决定:
| 温度 | 访问频率 | 存放 |
|---|---|---|
| 热 | 每天多次甚至每秒多次(服务用户请求) | 便于快速检索 |
| 温 | 每周或每月 | 折中 |
| 冷 | 很少查询,多为合规或灾备保留 | 归档系统;云上归档层存储极便宜但取回很贵(过去是磁带运往远程设施) |
没有放之四海而皆准的存储建议,每种存储技术都有取舍,选择取决于用例、数据量、获取频率、格式和大小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据工程生命周期 · 查看原书依据
元数据代表了对未来的投资,显著提高了可发现性和机构知识,以简化未来的项目和架构变化。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.3 存储(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources)
- 结论依据:2.1.3节说明存储复杂的三点原因及其与其他阶段的交叉,列出评估存储系统的关键工程问题(包括对象存储随机更新反模式和元数据作为投资),按访问频率区分热、温、冷数据,指出没有通用存储建议。
- 原始内容:元数据代表了对未来的投资,显著提高了可发现性和机构知识,以简化未来的项目和架构变化。