知识卡片
数据温度与保留策略
存数据不是存进去就不管,要回答两个问题:数据对下游多重要、多久访问一次(存储生命周期)?要保留多久(数据保留)?
热、暖、冷数据: | | 访问频率 | 介质 | 存储成本 | 检索成本 | |—|—|—|—|—| | 热 | 即时/频繁(商品推荐、查询结果缓存) | SSD、内存 | 最高 | 廉价 | | 暖 | 半定期,如每月一次 | S3 IA、GCS Nearline | 较低 | 稍高 | | 冷 | 很少,长期归档 | HDD、磁带、云归档 | 最低 | 昂贵 |
全放热存储很贵,全放冷存储检索又慢又贵。要考虑热数据溢出到磁盘或对象存储。为对象存储创建自动化生命周期策略:每月访问一次就转到低频层,180 天不被访问就转归档层——但要计入检索的时间和金钱成本。
数据保留:大数据早期“将来可能需要”的囤积倾向导致数据沼泽。保留要考虑: - 价值:能否从上游轻易重建?缺失对下游影响多大? - 时间:新数据通常更有价值;缓存和内存中的热数据要设置 TTL,否则热存储会满、查询变慢; - 合规:HIPAA、PCI 可能要求保留一定时间,其他法规可能要求只保留有限时间并能及时删除特定信息; - 成本:超过保留期就转冷存储,真不需要就删除。
单租户与多租户存储:单租户每个租户一个独立数据库,完全隔离,模式可统一也可各自演化,但需要跨租户统一视图时模式不一致影响很大;多租户则多个租户共用同一数据库甚至同一张表,查询时需格外注意。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
如果你使用基于云的对象存储,则为你的数据创建自动化的生命周期策略。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.4.5 数据存储的生命周期和数据保留;6.4.6 单租户与多租户存储的对比(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.4.5节按访问频率区分热暖冷数据及其成本特征,建议用自动化生命周期策略降本,并从价值、时间、合规、成本四方面讨论数据保留;6.4.6节对比单租户与多租户存储。
- 原始内容:如果你使用基于云的对象存储,则为你的数据创建自动化的生命周期策略。