← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2274.g.2.a.1.a.2.e

按数据阶段优化存储成本

理解等级:中级

数据价值缓慢释放,而存储成本随数据增多持续上涨,到一定规模会变成财务包袱:2014 年阿里巴巴曾预测,若不做数据管理和成本治理,利润可能被数据增长带来的硬件和计算开支吞噬殆尽。存储成本按数据所处阶段区别优化:

原始数据:一般建议永久保存。当前没有价值的数据,随着场景深入和挖掘技术提升可能释放价值;没保留而等到条件具备时才发现数据不够,时间成本更高。具体仍要结合企业阶段和业务特点判断。

过程数据分两类:

  • 临时性过程数据(临时表)在单次作业或任务流结束后就可清除。开发不规范时常只建不删,所以要在开发规范中统一前缀(如 tmp_),便于成本分析时快速定位。
  • 支撑结果计算的过程数据(ETL 中间结果,如清洗后的明细和汇总表)体量大,有三种存储策略:
策略 适用 特点
全量存储 不需要跟踪历史变化 只存最新快照(如用户上传的字典),只要有表依赖就一直保留
增量存储 需要历史变化且体量大 只存周期内新增或变化数据,省空间、减冗余
周期快照 需要历史变化且重复存储成本不大 易用性高:新周期未产出时可用上一周期补充,也可分析历史变迁(如“淘宝时光机”)

周期快照的保留期按下游引用情况确定:若所有任务引用不超过 7 天,留约 30% 冗余、保存 10 天左右即可保障下游生产;个别时候需要更久的数据,再联系表负责人补数。

结果数据(如 TDM、ADM 数据集):中台不仅按需求生产,还会从数据层主动构建对象标签集,可能造成浪费;哪些数据集有价值要由业务应用来检验,并据此给出成本策略。是加工更多数据体系供业务选择,还是专注把某个体系做深做透,取决于企业阶段和业务特点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第09章《第9章 数据中台运营机制》9.4 数据成本运营·存储成本(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0052.xhtml,来源项目 book-sources) - 结论依据:9.4节说明存储成本成为财务包袱的背景与阿里巴巴2014年的预测,把数据分为原始、过程、结果三类:原始数据建议永久保存,临时表统一前缀便于清理,中间结果按全量、增量、周期快照存储并给出7天加30%冗余的保留期估算,结果数据按应用情况制定成本策略。 - 原始内容:周期性的生产依赖于数据被引用的情况,如果所有任务对数据的引用不超过7天,那么留30%左右的冗余,总共10天左右的存储周期,就可以保障下游的正常生产了。