← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.7.a

存储选型与数据温度

理解等级:中级

存储为何复杂:云上架构通常同时用多种存储;很少有存储只做存储——对象存储也可能支持查询(如 S3 Select),云数仓能存储、处理并服务数据,Kafka、Pulsar 同时是获取、存储与查询系统;存储方式会影响生命周期各阶段如何使用数据。

评估存储系统的关键问题:

  • 是否满足架构要求的读写速度?会不会成为下游瓶颈?
  • 你是否理解它的工作原理,是在最佳使用还是做“不自然的行为”——例如在对象存储上做高频随机更新,是有显著性能开销的反模式;
  • 能否承受预期的未来规模(总容量、读操作率、写入量)?
  • 下游能否在 SLA 内取到数据?
  • 是否在捕获模式演化、数据流、血缘等元数据——元数据是对未来的投资,显著提升可发现性和机构知识;
  • 是纯存储(对象存储)还是支持复杂查询(云数仓)?模式不可知、灵活模式还是强制模式?
  • 如何跟踪主数据、黄金记录、数据质量和血缘以支持治理?
  • 如何满足法规遵从与数据主权(能否只存在某些地理位置)?

数据温度由访问频率决定:

温度 访问频率 存放
热 每天多次甚至每秒多次(服务用户请求) 便于快速检索
温 每周或每月 折中
冷 很少查询,多为合规或灾备保留 归档系统;云上归档层存储极便宜但取回很贵(过去是磁带运往远程设施)

没有放之四海而皆准的存储建议,每种存储技术都有取舍,选择取决于用例、数据量、获取频率、格式和大小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.3 存储(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.1.3节说明存储复杂的三点原因及其与其他阶段的交叉,列出评估存储系统的关键工程问题(包括对象存储随机更新反模式和元数据作为投资),按访问频率区分热、温、冷数据,指出没有通用存储建议。 - 原始内容:元数据代表了对未来的投资,显著提高了可发现性和机构知识,以简化未来的项目和架构变化。