主题对照

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

本层 55 张卡片 · 含下级覆盖 55 张卡片

本主题的卡片

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

别忽视数据应用风险

数据风险分两类:信息安全风险,指数据泄露、丢失和质量下降;应用风险,指在抽样、处理、分析、展现、理解、应用环节得出误导性结论,如用相关代替因果、把小范围结论推广到大范围。多数企业只重视前者,对应用风险关注较少。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

风险管理三阶段四级

数据风险管理与控制按流程分三阶段。目标设定:业务目标基于KPI(如销售额提升50%),变化频繁属动态目标;数据目标针对数据质量(完整性/一致性/及时性/有效性/正确性/真实性)、数据安全(备份/防护/预警覆盖度)、数据应用(数据到达率/正确率/自动化程度)设定,变化幅度小属静态目标。风险识别与评估:依靠主观经验和客观数据两方面,遵循周期性、差异性、系统性、全面性四原则,评估结果分负面/无/正面三种影响。风险处理与监督:四种处理方式——规避(关闭权限、备份冗余)、减轻(降低负面影响程度)、接受(不采取措施承受所有影响)、扭转(把风险转化为新业务机会)。落地保障靠四级监管体系:第一级企业监管部门(计划部/管理部/内审部/HR,通过KPI把风险管理与绩效挂钩);第二级工具监督控制(加密、权限配置、验证、防护工具);第三级数据部门监控(备份、流程跟踪、质量管理);第四级人员自我约束(安全意识与应用技能)。四级由外而内、由制度到个人层层收紧,任何一级缺失都会让风险管理出现漏洞。

结构图:

flowchart TB
  A["①目标设定<br/>业务目标(动态KPI)+数据目标(静态质量/安全/应用)"]
  A --> B["②风险识别与评估<br/>主观经验+客观数据<br/>周期性/差异性/系统性/全面性"]
  B --> C["③风险处理与监督<br/>规避/减轻/接受/扭转"]
  C --> D["四级监管体系"]
  D --> D1["①企业监管部门(制度)"]
  D --> D2["②工具监督控制(技术)"]
  D --> D3["③数据部门监控(流程)"]
  D --> D4["④人员自我约束(个人)"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术开发

权限两个维度

大数据平台权限分两个维度。用户维度按角色划分:系统管理员、项目空间管理员、开发人员、运维人员。数据维度按可访问性分三层:公共实体所有人可读;项目空间内实体本空间可读,自建的可写;赋权实体需其他项目空间授权才能访问。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据质量为何被轻视

数据质量管理普遍不受重视,根本原因在于成本与产出的关系:标准制定、落实监督、生命周期管理都要投入大量资源,成本直观;而多数企业没把数据质量纳入 KPI,问题可以蒙混过关。等到关键指标对不上、领导发现各部门数字不一时,企业对数据的信任已经下降。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据生命周期七阶段

数据生命周期管理把数据从诞生到消亡的整个过程拆成七个阶段,通过针对性管理措施降低成本、提高质量。数据规划:数据、技术、业务三方共同参与讨论采集需求,明确数据主体范围标准粒度,形成书面的数据采集计划书。数据开发:技术实施阶段,需要数据/业务部门协助测试,尤其注意测试环境如果可外部访问要防范安全风险。数据产生:开发完成后数据正式进入数据库或日志系统,成为可供应用的原始数据。数据部署应用:包括ETL、预处理、分析、挖掘、应用、流转和共享,是产生价值的核心环节,报告、模型、报表等应用主体也都有各自的生命周期,会随新数据类型出现、数据量积累、业务关注点变化、新分析方法出现而不断演进(例如一份专项报告会随业务从建立到发展到衰落,最终随部门裁撤而消失)。数据监视:持续跟踪评估数据的技术安全、运维成本、业务应用价值,为存档做准备。数据存档:分在线存档(访问频率较高的数据仍可在线访问)和离线归档(访问频率低的数据用光盘等介质离线存储,需要恢复介质才能访问)。数据销毁:对已失去价值的数据做删除、擦写甚至物理介质销毁,是生命周期的终点,常见于业务调整或取消导致数据所依赖的业务主体消失。这套管理的核心意义是”数据ROI”的优化——同时降低数据安全风险、维护成本,并提高数据质量和应用价值。

结构图:

flowchart LR
  A["①数据规划<br/>数据+技术+业务三方定需求"] --> B["②数据开发<br/>技术实施+测试"]
  B --> C["③数据产生<br/>正式入库"]
  C --> D["④数据部署应用<br/>ETL/分析/挖掘/共享<br/>随业务演进而演进"]
  D --> E["⑤数据监视<br/>持续跟踪评估价值"]
  E --> F["⑥数据存档<br/>在线存档 或 离线归档"]
  F --> G["⑦数据销毁<br/>删除/擦写/物理销毁"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

数据挑战五问题

企业开展大数据工作时,最先撞上的往往不是技术问题,而是数据本身的五类问题。缺少数据积累:很多企业(尤其传统企业)发展之初没有数据规划,只有财务这类跟经营核算直接相关的数据,客户、产品、营销数据严重匮乏,甚至还在用纸质媒介存储。数据孤岛严重:多业务线的大企业里,不同部门的存储系统、技术、口径、标准、定义各不相同,数据散落各处形成孤岛。数据质量差:记录丢失、类型不一致、字段为空、值错误等问题普遍存在,而且一旦数据从源头就有质量问题,后期几乎无法有效修复,基于这类”垃圾数据”得出的结论可信度很低,可能误导业务方向。数据整合困难:各业务体系内部有自己的数据规范,但跨体系整合时因为缺乏企业全局层面的统一顶层规划,字段定义、关联项、口径、范围、条件、规则互不一致,整合工作雪上加霜。数据来源匮乏:想从外部补充数据,但可靠的外部数据大多经过脱敏或转换、范围小、粒度粗,对深加工和价值提取不利。五个问题层层递进:没有数据积累是起点,孤岛和质量问题让”有数据也用不好”,整合困难让”多份数据拼不起来”,来源匮乏则说明”想从外面找补也补不了太多”。

结构图:

flowchart TB
  A["数据挑战五问题"]
  A --> B["缺少数据积累<br/>无规划,只有财务类数据"]
  A --> C["数据孤岛严重<br/>各部门口径标准不一"]
  A --> D["数据质量差<br/>源头问题后期无法修复"]
  A --> E["数据整合困难<br/>跨体系缺乏统一顶层规划"]
  A --> F["数据来源匮乏<br/>外部数据脱敏且粒度粗"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

安全一票否决

大数据安全挑战有三类:数据物理丢失(设备故障、误操作甚至误删)、信息泄露(内部泄密、权限失控、加密缺陷)、外部非法入侵(弱口令、系统漏洞、传输未加密、SQL 注入)。数据安全对大数据工作有“一票否决权”:不能保证数据和信息安全,就应停止开展大数据工作。

查看卡片与原书出处

分布式机器学习实战 · 大数据算法系统架构

数据仓库四层

Hadoop 上的 Hive 数仓一般分四层:ods 层存放原始基础数据,如维表和事实表;mid 中间层把 ods 中多张表 join 好或按时间段汇总成中间表,一次生成、多次使用,避免每次都重复关联计算;temp 临时层存放临时数据;数据集市层按项目组织,如用户画像集市、推荐集市、搜索集市,数据可直接供项目使用。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

便利数据应设置删除时点

商店为免重复录入而保存地址和支付资料,带来额外暴露。原书举例:货物发出前需要地址,之后可删除明文,只保留必要版本。实际留存还受售后与适用规则约束;应逐字段说明用途、保留期限和删除条件。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据治理贯穿数据流程

数据治理是约束数据流程的一组共同标准、规则和政策,涉及质量、可信度、访问与合规。它应嵌入各个数据管理过程;仅购置目录或权限工具,不能替代组织持续执行这些规则。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据契约约定生产消费

数据契约把生产者与消费者对数据的约定显式化,包括负责人、产出频率、类型与格式。它让消费方能据此校验输入并定位变更责任;只校验字段形状却不约定更新节奏,仍会留下使用风险。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据目录帮助发现数据

数据目录组织表、字段、类型和键等元数据,让使用者更容易找到并理解可用数据。它是数据发现入口,不等于数据本体;目录若不随数据变化维护,也会失去可信度。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据沼泽源于治理缺位

数据沼泽是大量数据缺少组织、元数据和治理,因而难以发现和使用的数据湖。问题不是数据存得不够多,而是消费者无法判断有什么、从何而来、能否访问;目录、血缘和治理要与存储一起建设。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

技术元数据描述结构

技术元数据记录表的列名、类型、长度与约束,也可描述文件大小、时间和权限。它让工具知道如何解析数据;字段名若缺少业务解释,使用者仍可能误读其含义。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

业务元数据解释含义

业务元数据把技术字段映射为业务名称、定义和使用语境。它解决“能读到字段却不知代表什么”的问题,尤其适合源系统用缩写或内部代码命名的场景;定义应由业务责任人维护。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

元数据管理覆盖全周期

元数据管理需要从内外部系统收集定义、补充业务含义、维护版本并组织检索。若只建立一次目录而不跟随模式变化更新,发现、治理和影响分析都会失真。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

元数据仓与目录分工

元数据仓负责持久保存表模式、分区等定义;数据目录提供搜索、浏览和授权入口。云服务常把底层存储隐藏在目录界面后,选型仍须查清元数据由谁维护以及各引擎如何同步。

结构图:

flowchart LR
    A[表模式与分区定义] --> B[元数据仓]
    B --> C[数据目录]
    C --> D[用户与计算引擎]
查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

分类标签驱动敏感治理

目录中的分类标签可标明业务域或敏感级别,如个人身份信息。标签可帮助权限和脱敏策略识别保护对象,但标记本身不是访问控制;仍要验证策略是否在所有读取路径执行。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

血缘用于变更影响分析

数据血缘记录字段从来源、转换作业到消费表的流向。修改列名、类型或长度前,可沿血缘找出受影响的下游资产;它也有助于识别无人使用的表,但需要持续采集作业和查询关系。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

统一目录覆盖数据与模型

统一数据目录把表、视图、报表以及模型和特征表等资产纳入共同的发现与治理入口。它减少多套目录之间的查找和权限同步负担;是否真正统一,仍取决于各计算引擎是否执行同一套策略。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 4. Data Catalogs

元数据仓自管增加负担

自建 Hive Metastore 可让多个引擎共用表定义,但还需部署维护外部关系数据库,并处理云服务集成。托管目录可减少维护工作;迁移前仍须核对原有表类型、分区和引擎兼容性。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

治理规则与安全控制分工

数据治理规定质量、元数据、责任、共享和审计等规则;数据安全负责访问限制、静态与传输保护及敏感数据控制。两者要在同一资产生命周期中衔接,只有安全工具而没有责任与流程,难以形成可持续治理。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

血缘追踪敏感字段流向

字段级血缘可从敏感源字段追踪到下游表、报表和模型,帮助评估一次字段变更或访问策略调整的影响。只看源表权限会漏掉派生资产;血缘记录本身也要保持更新。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

数据负责人和管家分责

数据负责人对数据定义和治理决策承担业务责任;数据管家负责日常补业务语境、分类、发现质量问题,并与技术团队推动修复。角色划分应落实到具体数据集与处理流程,不能只任命头衔。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

敏感识别要覆盖入口

敏感字段可能经源系统、外部应用或人工上传进入平台。目录标签和自动检测可帮助发现,但仍要安排人工复核与数据管家处置,避免漏标或误标把错误权限传播到下游。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

掩码令牌化不等于匿名化

动态掩码按读取者身份隐藏字段;令牌化或散列可让不同表保留可关联的替代标识。这些措施通常仍可能重新关联个人,应按可逆性、密钥和重识别风险评估,不能直接宣称数据已匿名化。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

删除请求需核全生命周期

受监管的删除请求要先由法务与合规团队判断适用条件,再列出主表、快照、备份、共享副本和下游模型等持有位置。表删除和旧文件清理只是技术步骤,不能单凭一次 VACUUM 宣称已履行全部义务。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

治理从平台设计初期开始

数据架构师应在摄取、存储、转换和消费设计初期就把质量、访问、留存与审计要求写进流程,并与业务、合规、安全和基础设施团队共同确认。治理不能等平台上线后再靠补标签修复所有缺口。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

分析工程师连接数据生产与消费

分析工程师把数据工程的可复用、版本化和测试方法带入分析建模,为报表与自助分析准备可信数据集。这个角色连接数据生产与消费,仍需承担数据质量、定义和权限治理责任。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

表级与字段级血缘分工

表级血缘显示源表如何形成目标表,适合追踪数据管道和表级依赖;字段级血缘记录字段来源及下游使用,适合分析敏感信息传播和字段变更影响。粒度越细,维护成本也越高,应按治理问题选择。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1758 网段是风险边界 路径上下文 图解基础设施设计模式(图灵程序设计丛书) · 基础设施构成的设计方式 理解等级:未标注
    • 展开或收起下级: 1758.d 数据集市提速 路径上下文 图解基础设施设计模式(图灵程序设计丛书) · 基础设施构成的设计方式 理解等级:未标注
      • 1758.d.1 元数据使跨源数据可找到 主题成员 图解基础设施设计模式(图灵程序设计丛书) · 第6章 基础设施构成的设计方式 理解等级:中级
  • 展开或收起下级: 1980 事件建模范式针对状态迁移建模 路径上下文 解构领域驱动设计 理解等级:未标注
    • 展开或收起下级: 1980.z 事件流化跨界为本地 路径上下文 解构领域驱动设计 理解等级:未标注
      • 展开或收起下级: 1980.z.7 集中支付微服务税 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Event-Driven Microservice Fundamentals 理解等级:中级
        • 1980.z.7.a 所有权元数据支撑自治 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Supportive Tooling 理解等级:中级
  • 展开或收起下级: 2078 中心库与分布式库 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 信息视点 理解等级:未标注
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.b 数据治理贯穿数据流程 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 展开或收起下级: 2275.as.6.b.1 数据契约约定生产消费 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
            • 2275.as.6.b.1.a 与源系统签数据契约 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第5章 源系统中的数据生成 理解等级:初级
          • 展开或收起下级: 2275.as.6.b.4 数据目录帮助发现数据 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
          • 2275.as.6.b.5 数据沼泽源于治理缺位 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 展开或收起下级: 2275.as.6.b.7 元数据管理覆盖全周期 主题成员 Practical Lakehouse Architecture · Chapter 4. Data Catalogs 理解等级:中级
            • 展开或收起下级: 2275.as.6.b.7.a 元数据仓与目录分工 主题成员 Practical Lakehouse Architecture · Chapter 4. Data Catalogs 理解等级:中级
            • 展开或收起下级: 2275.as.6.b.7.b 分类标签驱动敏感治理 主题成员 Practical Lakehouse Architecture · Chapter 4. Data Catalogs 理解等级:中级
              • 2275.as.6.b.7.b.1 敏感识别要覆盖入口 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
              • 2275.as.6.b.7.b.2 掩码令牌化不等于匿名化 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:高级
            • 展开或收起下级: 2275.as.6.b.7.c 血缘用于变更影响分析 主题成员 Practical Lakehouse Architecture · Chapter 4. Data Catalogs 理解等级:中级
              • 2275.as.6.b.7.c.1 血缘追踪敏感字段流向 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
              • 2275.as.6.b.7.c.2 表级与字段级血缘分工 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
            • 2275.as.6.b.7.d 删除请求需核全生命周期 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:高级
            • 2275.as.6.b.7.e MDM选出跨源黄金记录 主题成员 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:中级
          • 展开或收起下级: 2275.as.6.b.8 跨引擎授权需验证一致性 路径上下文 Practical Lakehouse Architecture · Chapter 4. Data Catalogs 理解等级:高级
            • 展开或收起下级: 2275.as.6.b.8.a 共享资产遵循最小范围 路径上下文 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:高级
              • 2275.as.6.b.8.a.1 数据洁净室约束协作分析 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
          • 2275.as.6.b.9 治理规则与安全控制分工 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
          • 2275.as.6.b.10 数据负责人和管家分责 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
          • 2275.as.6.b.11 治理从平台设计初期开始 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
        • 展开或收起下级: 2275.as.6.f 数据产品面向消费 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.h 可维护性三支柱 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
      • 展开或收起下级: 2280.h.1 组合工具即成为系统设计者 路径上下文 数据密集型应用系统设计 · 第一章:可靠性、可伸缩性、可维护性 理解等级:初级
        • 展开或收起下级: 2280.h.1.a 数据工程的定义 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 展开或收起下级: 2280.h.1.a.7 评估源系统的问题清单 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第2章 数据工程生命周期 理解等级:中级
            • 2280.h.1.a.7.d 数据治理的三个核心类别 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第2章 数据工程生命周期 理解等级:中级
            • 2280.h.1.a.7.e 建模血缘与数据销毁 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第2章 数据工程生命周期 理解等级:中级
          • 展开或收起下级: 2280.h.1.a.14 信任是数据服务之本 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:初级
            • 2280.h.1.a.14.c 显式声明定义与逻辑 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:中级
  • 展开或收起下级: 2385 关系库先定结构 路径上下文 Java系统分析与架构设计 (肖海鹏 王荣芝 张天怡 王化宇 周洪翠) · 持久层物理表设计 理解等级:未标注
    • 2385.ad 编码交给主数据平台 主题成员 Java系统分析与架构设计 (肖海鹏 王荣芝 张天怡 王化宇 周洪翠) · 持久层物理表设计 理解等级:未标注
  • 展开或收起下级: 2773 平台六大规划原则 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.j 别忽视数据应用风险 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.k 风险管理三阶段四级 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
  • 展开或收起下级: 2775 存储组件分工共存 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据架构设计 理解等级:未标注
    • 展开或收起下级: 2775.a 十项核心架构要素 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据架构设计 理解等级:未标注
      • 展开或收起下级: 2775.a.1 Hadoop开放平台认证风险 路径上下文 大数据时代的IT架构设计 · 优酷土豆Hadoop平台开放之路 理解等级:未标注
  • 展开或收起下级: 2776 全量与增量采集 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术开发 理解等级:未标注
    • 2776.e 权限两个维度 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术开发 理解等级:未标注
  • 展开或收起下级: 2777 数据质量六维度 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.h 数据质量为何被轻视 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.j 数据生命周期七阶段 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
  • 展开或收起下级: 2781 数据挑战五问题 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.a 安全一票否决 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
  • 展开或收起下级: 2823 算法系统两点不同 路径上下文 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
    • 2823.b 数据仓库四层 主题成员 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
  • 展开或收起下级: 3111 小文件与入库时延要权衡 路径上下文 实时流计算系统设计与实现 · 第9章 数据存储 理解等级:高级
  • 展开或收起下级: 3201 专用埋点扩展成本 路径上下文 OpenTelemetry 可观测性的未来 · 可观测性的三大支柱 理解等级:高级
    • 展开或收起下级: 3201.b 库作者的埋点困境 路径上下文 OpenTelemetry 可观测性的未来 · 可观测性的三大支柱 理解等级:中级
      • 展开或收起下级: 3201.b.3 埋点API与实现分离 路径上下文 OpenTelemetry 可观测性的未来 · 实际上我们如何观察系统? 理解等级:高级
        • 展开或收起下级: 3201.b.3.b 收集器隔离部署决策 路径上下文 OpenTelemetry 可观测性的未来 · 实际上我们如何观察系统? 理解等级:高级
          • 展开或收起下级: 3201.b.3.b.1 收集器三阶段管道 路径上下文 OpenTelemetry 可观测性的未来 · 实际上我们如何观察系统? 理解等级:中级
            • 3201.b.3.b.1.a 处理器控制数据边界 主题成员 OpenTelemetry 可观测性的未来 · 实际上我们如何观察系统? 理解等级:高级
  • 展开或收起下级: 3325 客户端处理可减少服务器明文 路径上下文 安全之美 · 无需真实数据就能出色完成工作 理解等级:中级
  • 4483 屏蔽与物理删除分开 主题成员 System Design Interview – An insiders guide, Second Edition · 搜索自动补全 理解等级:中级

未编号或编号待整理

  • 标签体系治理 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据打通

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

来源书籍

安全之美

安全/密码学类

Skill 版本:v11

书籍类型:未标注

清单覆盖 7/7

201 张卡片

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书