别忽视数据应用风险
数据风险分两类:信息安全风险,指数据泄露、丢失和质量下降;应用风险,指在抽样、处理、分析、展现、理解、应用环节得出误导性结论,如用相关代替因果、把小范围结论推广到大范围。多数企业只重视前者,对应用风险关注较少。
主题对照
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
数据风险分两类:信息安全风险,指数据泄露、丢失和质量下降;应用风险,指在抽样、处理、分析、展现、理解、应用环节得出误导性结论,如用相关代替因果、把小范围结论推广到大范围。多数企业只重视前者,对应用风险关注较少。
数据风险管理与控制按流程分三阶段。目标设定:业务目标基于KPI(如销售额提升50%),变化频繁属动态目标;数据目标针对数据质量(完整性/一致性/及时性/有效性/正确性/真实性)、数据安全(备份/防护/预警覆盖度)、数据应用(数据到达率/正确率/自动化程度)设定,变化幅度小属静态目标。风险识别与评估:依靠主观经验和客观数据两方面,遵循周期性、差异性、系统性、全面性四原则,评估结果分负面/无/正面三种影响。风险处理与监督:四种处理方式——规避(关闭权限、备份冗余)、减轻(降低负面影响程度)、接受(不采取措施承受所有影响)、扭转(把风险转化为新业务机会)。落地保障靠四级监管体系:第一级企业监管部门(计划部/管理部/内审部/HR,通过KPI把风险管理与绩效挂钩);第二级工具监督控制(加密、权限配置、验证、防护工具);第三级数据部门监控(备份、流程跟踪、质量管理);第四级人员自我约束(安全意识与应用技能)。四级由外而内、由制度到个人层层收紧,任何一级缺失都会让风险管理出现漏洞。
结构图:
flowchart TB
A["①目标设定<br/>业务目标(动态KPI)+数据目标(静态质量/安全/应用)"]
A --> B["②风险识别与评估<br/>主观经验+客观数据<br/>周期性/差异性/系统性/全面性"]
B --> C["③风险处理与监督<br/>规避/减轻/接受/扭转"]
C --> D["四级监管体系"]
D --> D1["①企业监管部门(制度)"]
D --> D2["②工具监督控制(技术)"]
D --> D3["③数据部门监控(流程)"]
D --> D4["④人员自我约束(个人)"]
大数据平台权限分两个维度。用户维度按角色划分:系统管理员、项目空间管理员、开发人员、运维人员。数据维度按可访问性分三层:公共实体所有人可读;项目空间内实体本空间可读,自建的可写;赋权实体需其他项目空间授权才能访问。
数据质量管理普遍不受重视,根本原因在于成本与产出的关系:标准制定、落实监督、生命周期管理都要投入大量资源,成本直观;而多数企业没把数据质量纳入 KPI,问题可以蒙混过关。等到关键指标对不上、领导发现各部门数字不一时,企业对数据的信任已经下降。
数据生命周期管理把数据从诞生到消亡的整个过程拆成七个阶段,通过针对性管理措施降低成本、提高质量。数据规划:数据、技术、业务三方共同参与讨论采集需求,明确数据主体范围标准粒度,形成书面的数据采集计划书。数据开发:技术实施阶段,需要数据/业务部门协助测试,尤其注意测试环境如果可外部访问要防范安全风险。数据产生:开发完成后数据正式进入数据库或日志系统,成为可供应用的原始数据。数据部署应用:包括ETL、预处理、分析、挖掘、应用、流转和共享,是产生价值的核心环节,报告、模型、报表等应用主体也都有各自的生命周期,会随新数据类型出现、数据量积累、业务关注点变化、新分析方法出现而不断演进(例如一份专项报告会随业务从建立到发展到衰落,最终随部门裁撤而消失)。数据监视:持续跟踪评估数据的技术安全、运维成本、业务应用价值,为存档做准备。数据存档:分在线存档(访问频率较高的数据仍可在线访问)和离线归档(访问频率低的数据用光盘等介质离线存储,需要恢复介质才能访问)。数据销毁:对已失去价值的数据做删除、擦写甚至物理介质销毁,是生命周期的终点,常见于业务调整或取消导致数据所依赖的业务主体消失。这套管理的核心意义是”数据ROI”的优化——同时降低数据安全风险、维护成本,并提高数据质量和应用价值。
结构图:
flowchart LR
A["①数据规划<br/>数据+技术+业务三方定需求"] --> B["②数据开发<br/>技术实施+测试"]
B --> C["③数据产生<br/>正式入库"]
C --> D["④数据部署应用<br/>ETL/分析/挖掘/共享<br/>随业务演进而演进"]
D --> E["⑤数据监视<br/>持续跟踪评估价值"]
E --> F["⑥数据存档<br/>在线存档 或 离线归档"]
F --> G["⑦数据销毁<br/>删除/擦写/物理销毁"]
企业开展大数据工作时,最先撞上的往往不是技术问题,而是数据本身的五类问题。缺少数据积累:很多企业(尤其传统企业)发展之初没有数据规划,只有财务这类跟经营核算直接相关的数据,客户、产品、营销数据严重匮乏,甚至还在用纸质媒介存储。数据孤岛严重:多业务线的大企业里,不同部门的存储系统、技术、口径、标准、定义各不相同,数据散落各处形成孤岛。数据质量差:记录丢失、类型不一致、字段为空、值错误等问题普遍存在,而且一旦数据从源头就有质量问题,后期几乎无法有效修复,基于这类”垃圾数据”得出的结论可信度很低,可能误导业务方向。数据整合困难:各业务体系内部有自己的数据规范,但跨体系整合时因为缺乏企业全局层面的统一顶层规划,字段定义、关联项、口径、范围、条件、规则互不一致,整合工作雪上加霜。数据来源匮乏:想从外部补充数据,但可靠的外部数据大多经过脱敏或转换、范围小、粒度粗,对深加工和价值提取不利。五个问题层层递进:没有数据积累是起点,孤岛和质量问题让”有数据也用不好”,整合困难让”多份数据拼不起来”,来源匮乏则说明”想从外面找补也补不了太多”。
结构图:
flowchart TB
A["数据挑战五问题"]
A --> B["缺少数据积累<br/>无规划,只有财务类数据"]
A --> C["数据孤岛严重<br/>各部门口径标准不一"]
A --> D["数据质量差<br/>源头问题后期无法修复"]
A --> E["数据整合困难<br/>跨体系缺乏统一顶层规划"]
A --> F["数据来源匮乏<br/>外部数据脱敏且粒度粗"]
大数据安全挑战有三类:数据物理丢失(设备故障、误操作甚至误删)、信息泄露(内部泄密、权限失控、加密缺陷)、外部非法入侵(弱口令、系统漏洞、传输未加密、SQL 注入)。数据安全对大数据工作有“一票否决权”:不能保证数据和信息安全,就应停止开展大数据工作。
Hadoop 上的 Hive 数仓一般分四层:ods 层存放原始基础数据,如维表和事实表;mid 中间层把 ods 中多张表 join 好或按时间段汇总成中间表,一次生成、多次使用,避免每次都重复关联计算;temp 临时层存放临时数据;数据集市层按项目组织,如用户画像集市、推荐集市、搜索集市,数据可直接供项目使用。
商店为免重复录入而保存地址和支付资料,带来额外暴露。原书举例:货物发出前需要地址,之后可删除明文,只保留必要版本。实际留存还受售后与适用规则约束;应逐字段说明用途、保留期限和删除条件。
数据治理是约束数据流程的一组共同标准、规则和政策,涉及质量、可信度、访问与合规。它应嵌入各个数据管理过程;仅购置目录或权限工具,不能替代组织持续执行这些规则。
数据契约把生产者与消费者对数据的约定显式化,包括负责人、产出频率、类型与格式。它让消费方能据此校验输入并定位变更责任;只校验字段形状却不约定更新节奏,仍会留下使用风险。
数据目录组织表、字段、类型和键等元数据,让使用者更容易找到并理解可用数据。它是数据发现入口,不等于数据本体;目录若不随数据变化维护,也会失去可信度。
数据沼泽是大量数据缺少组织、元数据和治理,因而难以发现和使用的数据湖。问题不是数据存得不够多,而是消费者无法判断有什么、从何而来、能否访问;目录、血缘和治理要与存储一起建设。
技术元数据记录表的列名、类型、长度与约束,也可描述文件大小、时间和权限。它让工具知道如何解析数据;字段名若缺少业务解释,使用者仍可能误读其含义。
业务元数据把技术字段映射为业务名称、定义和使用语境。它解决“能读到字段却不知代表什么”的问题,尤其适合源系统用缩写或内部代码命名的场景;定义应由业务责任人维护。
元数据管理需要从内外部系统收集定义、补充业务含义、维护版本并组织检索。若只建立一次目录而不跟随模式变化更新,发现、治理和影响分析都会失真。
元数据仓负责持久保存表模式、分区等定义;数据目录提供搜索、浏览和授权入口。云服务常把底层存储隐藏在目录界面后,选型仍须查清元数据由谁维护以及各引擎如何同步。
结构图:
flowchart LR
A[表模式与分区定义] --> B[元数据仓]
B --> C[数据目录]
C --> D[用户与计算引擎]
目录中的分类标签可标明业务域或敏感级别,如个人身份信息。标签可帮助权限和脱敏策略识别保护对象,但标记本身不是访问控制;仍要验证策略是否在所有读取路径执行。
数据血缘记录字段从来源、转换作业到消费表的流向。修改列名、类型或长度前,可沿血缘找出受影响的下游资产;它也有助于识别无人使用的表,但需要持续采集作业和查询关系。
统一数据目录把表、视图、报表以及模型和特征表等资产纳入共同的发现与治理入口。它减少多套目录之间的查找和权限同步负担;是否真正统一,仍取决于各计算引擎是否执行同一套策略。
自建 Hive Metastore 可让多个引擎共用表定义,但还需部署维护外部关系数据库,并处理云服务集成。托管目录可减少维护工作;迁移前仍须核对原有表类型、分区和引擎兼容性。
数据治理规定质量、元数据、责任、共享和审计等规则;数据安全负责访问限制、静态与传输保护及敏感数据控制。两者要在同一资产生命周期中衔接,只有安全工具而没有责任与流程,难以形成可持续治理。
字段级血缘可从敏感源字段追踪到下游表、报表和模型,帮助评估一次字段变更或访问策略调整的影响。只看源表权限会漏掉派生资产;血缘记录本身也要保持更新。
数据负责人对数据定义和治理决策承担业务责任;数据管家负责日常补业务语境、分类、发现质量问题,并与技术团队推动修复。角色划分应落实到具体数据集与处理流程,不能只任命头衔。
敏感字段可能经源系统、外部应用或人工上传进入平台。目录标签和自动检测可帮助发现,但仍要安排人工复核与数据管家处置,避免漏标或误标把错误权限传播到下游。
动态掩码按读取者身份隐藏字段;令牌化或散列可让不同表保留可关联的替代标识。这些措施通常仍可能重新关联个人,应按可逆性、密钥和重识别风险评估,不能直接宣称数据已匿名化。
受监管的删除请求要先由法务与合规团队判断适用条件,再列出主表、快照、备份、共享副本和下游模型等持有位置。表删除和旧文件清理只是技术步骤,不能单凭一次 VACUUM 宣称已履行全部义务。
数据架构师应在摄取、存储、转换和消费设计初期就把质量、访问、留存与审计要求写进流程,并与业务、合规、安全和基础设施团队共同确认。治理不能等平台上线后再靠补标签修复所有缺口。
分析工程师把数据工程的可复用、版本化和测试方法带入分析建模,为报表与自助分析准备可信数据集。这个角色连接数据生产与消费,仍需承担数据质量、定义和权限治理责任。
表级血缘显示源表如何形成目标表,适合追踪数据管道和表级依赖;字段级血缘记录字段来源及下游使用,适合分析敏感信息传播和字段变更影响。粒度越细,维护成本也越高,应按治理问题选择。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
110 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/4
134 张卡片
来源书籍
书籍类型:工程实践
清单覆盖 4/8
52 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 6/7
143 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
大数据与机器学习平台工程类
书籍类型:工程实践
清单覆盖 7/7
34 张卡片
来源书籍
基础设施设计模式类
书籍类型:经典原理
清单覆盖 8/8
146 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
安全/密码学类
书籍类型:未标注
清单覆盖 7/7
201 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:工程实践
53 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
软件架构方法论类
书籍类型:未标注
类别清单尚未核对
334 张卡片
与 5 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类