知识卡片
数据生命周期七阶段
数据生命周期管理把数据从诞生到消亡的整个过程拆成七个阶段,通过针对性管理措施降低成本、提高质量。数据规划:数据、技术、业务三方共同参与讨论采集需求,明确数据主体范围标准粒度,形成书面的数据采集计划书。数据开发:技术实施阶段,需要数据/业务部门协助测试,尤其注意测试环境如果可外部访问要防范安全风险。数据产生:开发完成后数据正式进入数据库或日志系统,成为可供应用的原始数据。数据部署应用:包括ETL、预处理、分析、挖掘、应用、流转和共享,是产生价值的核心环节,报告、模型、报表等应用主体也都有各自的生命周期,会随新数据类型出现、数据量积累、业务关注点变化、新分析方法出现而不断演进(例如一份专项报告会随业务从建立到发展到衰落,最终随部门裁撤而消失)。数据监视:持续跟踪评估数据的技术安全、运维成本、业务应用价值,为存档做准备。数据存档:分在线存档(访问频率较高的数据仍可在线访问)和离线归档(访问频率低的数据用光盘等介质离线存储,需要恢复介质才能访问)。数据销毁:对已失去价值的数据做删除、擦写甚至物理介质销毁,是生命周期的终点,常见于业务调整或取消导致数据所依赖的业务主体消失。这套管理的核心意义是”数据ROI”的优化——同时降低数据安全风险、维护成本,并提高数据质量和应用价值。
结构图:
flowchart LR
A["①数据规划<br/>数据+技术+业务三方定需求"] --> B["②数据开发<br/>技术实施+测试"]
B --> C["③数据产生<br/>正式入库"]
C --> D["④数据部署应用<br/>ETL/分析/挖掘/共享<br/>随业务演进而演进"]
D --> E["⑤数据监视<br/>持续跟踪评估价值"]
E --> F["⑥数据存档<br/>在线存档 或 离线归档"]
F --> G["⑦数据销毁<br/>删除/擦写/物理销毁"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第8章《大数据工作流》"8.6.3 数据质量建设的框架"之"数据生命周期管理的实施"(源文件:_epub-src/OEBPS/text00127.html)
- 结论依据:原文依次说明"(1)数据规划……(2)数据开发……(3)数据产生……(4)数据部署应用……(5)数据监视……(6)数据存档……(7)数据销毁"七个阶段各自的具体内容,直接支撑本卡结构图。
- 原始内容:数据生命周期从数据规划开始,包括开发、产生、部署应用、监视、存档和销毁,是一个不断循环的过程……数据生命周期管理的根本意义在于数据降低成本的同时提高效益,即"数据ROI"的优化管理