知识卡片
按数据阶段优化存储成本
数据价值缓慢释放,而存储成本随数据增多持续上涨,到一定规模会变成财务包袱:2014 年阿里巴巴曾预测,若不做数据管理和成本治理,利润可能被数据增长带来的硬件和计算开支吞噬殆尽。存储成本按数据所处阶段区别优化:
原始数据:一般建议永久保存。当前没有价值的数据,随着场景深入和挖掘技术提升可能释放价值;没保留而等到条件具备时才发现数据不够,时间成本更高。具体仍要结合企业阶段和业务特点判断。
过程数据分两类:
- 临时性过程数据(临时表)在单次作业或任务流结束后就可清除。开发不规范时常只建不删,所以要在开发规范中统一前缀(如
tmp_),便于成本分析时快速定位。 - 支撑结果计算的过程数据(ETL 中间结果,如清洗后的明细和汇总表)体量大,有三种存储策略:
| 策略 | 适用 | 特点 |
|---|---|---|
| 全量存储 | 不需要跟踪历史变化 | 只存最新快照(如用户上传的字典),只要有表依赖就一直保留 |
| 增量存储 | 需要历史变化且体量大 | 只存周期内新增或变化数据,省空间、减冗余 |
| 周期快照 | 需要历史变化且重复存储成本不大 | 易用性高:新周期未产出时可用上一周期补充,也可分析历史变迁(如“淘宝时光机”) |
周期快照的保留期按下游引用情况确定:若所有任务引用不超过 7 天,留约 30% 冗余、保存 10 天左右即可保障下游生产;个别时候需要更久的数据,再联系表负责人补数。
结果数据(如 TDM、ADM 数据集):中台不仅按需求生产,还会从数据层主动构建对象标签集,可能造成浪费;哪些数据集有价值要由业务应用来检验,并据此给出成本策略。是加工更多数据体系供业务选择,还是专注把某个体系做深做透,取决于企业阶段和业务特点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 数据中台运营机制
- · 跨章综合
- · 发散与实践
原书出处 · 1 处
- 第9章 数据中台运营机制 · 查看原书依据
周期性的生产依赖于数据被引用的情况,如果所有任务对数据的引用不超过7天,那么留30%左右的冗余,总共10天左右的存储周期,就可以保障下游的正常生产了。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第09章《第9章 数据中台运营机制》9.4 数据成本运营·存储成本(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0052.xhtml,来源项目 book-sources)
- 结论依据:9.4节说明存储成本成为财务包袱的背景与阿里巴巴2014年的预测,把数据分为原始、过程、结果三类:原始数据建议永久保存,临时表统一前缀便于清理,中间结果按全量、增量、周期快照存储并给出7天加30%冗余的保留期估算,结果数据按应用情况制定成本策略。
- 原始内容:周期性的生产依赖于数据被引用的情况,如果所有任务对数据的引用不超过7天,那么留30%左右的冗余,总共10天左右的存储周期,就可以保障下游的正常生产了。