此笔记位置已失效,请从目录继续阅读。
全书导读
企业的数据分散在应用、团队与供应商之间。规模化数据管理要处理数据含义、责任与交换接口,而不只是选一个储存平台。本书以大型企业为背景,讨论如何让本地团队承担业务责任,同时利用公共标准、平台和元数据保持整体可理解、可控制。作者反对把mesh、fabric或集中化当成无条件答案。
全书主线
数据网格把数据所有权与产品责任交给业务域;数据织网以统一元数据和自动化降低跨域发现、集成与访问的成本。两者可以互补。先确定业务战略与领域边界,再决定平台拓扑,然后用数据产品、API和事件连接生产消费两端;治理、安全、元数据与主数据贯穿这些连接,最终由消费用例检验价值。
第foreword01章 推荐序
推荐序以LinkedIn持续产生的数据与传统日终批处理之间的矛盾说明:用户期望跨渠道实时一致的体验,但企业内部由许多软件、人员和数据存储构成。Kafka的出现既涉及消息、存储和处理技术,也要求组织具备管理跨应用数据流的技能。这是全书的动机,后续事件章将展开机制。
第preface01章 前言
本书第二版基于大型企业经验,对过度简化的数据网格实践提出边界:细粒度微服务示例不足以指导大型遗留企业的领域划分;经营、风险和会计需要跨域一致性;数据产品不能机械等同于一个容器;分析数据也不能脱离操作数据与主数据。全书会从业务全貌逐步下降到领域、平台和交换接口,再回到消费价值。术语mesh和fabric的实质解释归入第1章卡;这些前言论证在本段保留。
第01章 The Journey to Becoming Data-Driven
本章先解释数字化、分析、云与软件交付为何增加数据分布,再以集中数仓和数据湖说明规模瓶颈往往来自责任与协作方式。数据管理覆盖整个生命周期;不同职能需要协同而不能用单一平台替代。最后把架构选择放回业务战略:防御与创新的权重、人才、治理、预算和迁移路线共同决定集中与分权的程度。作者关于“分权必然”“数据总要转换”的措辞很强,本笔记把它们限定为大型异构企业的设计警示,避免当成普遍定律。
网格与织网互补:数据网格侧重社会技术组织:由业务域承担数据所有权和交付责任,以公共平台支持自治。数据织网侧重技术联通:用统一元数据帮助发现、集成、供应和使用分散数据。二者回答不同层面的问题,可以组合;购买一套工具并不能自动建立业务责任。
数据管理覆盖生命周期:数据管理是一组让数据资产在创建、使用、分发、保护和退出期间可控且有价值的计划、政策、程序和实践。它包含治理、架构、建模、存储、集成、安全、内容、主数据、分析、元数据与质量等职能;单建分析平台不能替代其余责任。
治理分配数据权责:数据治理规定谁有权决定数据怎样管理,并监督这些规则落实。对象包括数据及相应资产。治理不只是技术审批:若责任与权力未明确,质量、安全和跨域使用的争议就缺少裁决依据。
架构连接数据全貌:数据架构是关于数据的总体设计蓝图,包含未来状态、参考架构与依赖关系,帮助组织协调长期决策。它区别于单个系统内部的数据模型:前者处理全局关系,后者表达特定情境中的结构。
建模保留业务情境:数据建模与设计把特定业务情境的要求表达为系统可以使用的结构。概念、逻辑与物理设计会逐步引入应用选择,因此同名字段未必具有相同含义。跨应用集成要先核对语义和粒度,再判断是否需要转换,不能只按名称拼接。
存储运维支撑数据价值:数据存储与运维包括数据库设计、实现、支持和日常运行管理。把数据存下来只是起点:必须保证数据库能持续服务使用者;这项责任与业务分析相邻,但不能由分析报告的存在代替。
安全贯穿访问与追责:数据安全不仅验证身份与授予权限,也包括预防、审计以及事故升级和缓解。数据复制到多个环境后,原存储上的权限不能自然保护所有副本,必须追踪分发及实际使用。
集成与互操作有别:数据集成把多源数据整理为统一视图;互操作性让不同应用以较少内部知识交换数据或调用能力。前者追求在特定用途下的内容组合,后者追求交换边界可用。相同格式只解决部分互操作问题,不保证业务语义已经统一。
内容管理处理非结构数据:文档与内容管理负责媒体、文档等非结构化内容的组织与生命周期。它与表格数据管理共享安全和治理要求,但对象不一定具有预先固定的行列结构,不能只用数据库表的思路描述所有资产。
主数据维护关键实体:参考与主数据管理维护业务关键数据,使其可访问、准确、安全、透明和可信。它关注跨用途反复使用的实体与分类,区别于一次报表的局部清洗;后续主数据章进一步解释跨域一致性的限度。
分析管理服务决策:数据仓储与商业智能管理组织支持业务洞察和决策的活动。其产出服务于具体消费问题,价值取决于质量和语境;不能因为所有数据进入仓库,就推断整个企业已经形成可靠决策。
元数据让数据可理解:元数据是描述和分类数据的数据,可说明含义、结构、来源与管理要求。管理这些描述能够支持集成、安全和质量。元数据本身也分散在不同工具中,因此需要互操作和治理,不能只建一个名称目录。
质量以可用性为准:数据质量管理的目标是让数据足以服务使用目的。它与来源责任、语义和处理流程相关,不能只靠中央团队在入仓前不断打补丁;否则修正逻辑可能脱离可追踪的责任与血缘。
分析增加分布与读取:不同分析问题需要不同特征和数据表示,因而会产生更多副本、转换与读取负载。数据增殖让来源、质量和进一步分发更难跟踪;读密集工作又可能迫使业务系统提供独立副本。设计必须同时考虑消费自由和控制。
DevOps改变数据边界:DevOps把开发与运维协作起来,支持持续交付。应用拆为小服务后,原来一个库内的关系可能跨网络分散,带来同步、完整性与一致性难题。软件交付自治需要配套的数据互操作和责任安排,不能把拆服务当成纯代码调整。
操作分析需要反馈闭环:操作分析利用分析结果预测或改进正在运行的业务过程,再把洞察送回操作系统。生产端与分析端的速度和负载不同,必须通过适合的交换方式连接;简单维持两套完全隔离的数据战略会阻碍结果回流。
集中数仓的耦合代价:企业数据仓库把多源历史数据清洗、整合成共享的稳定表示,适合可协调的分析用途。但当大量消费应用共用模型与中央团队时,变更需要排队和协调,统一语义也可能抹掉原业务上下文。风险来自规模与耦合程度,而非数仓一概无用。
数据湖推迟结构选择:数据湖先保存多种格式的数据,再由读取者决定结构和加工。相较预先固定模型的数仓,它给探索更多自由;代价是消费者可能重复清洗、转换和解释原始应用结构,且直接依赖源表会受到上游改动影响。
大泥球累积变更依赖:大泥球指结构混乱且高度耦合的系统,局部变更难以预测地影响其他部分。数仓中的脚本、表、视图与调度互相交织时也可能出现这种现象。绕过规范的快速交付会积累未来返工,不能只按眼前完成速度衡量收益。
分权需要中央护栏:分权把部分责任交给业务团队,中央仍需提供标准、边界、公共能力和专家支持。若每域自定元数据、建模和交换标准,数据就难以组合。应分别决定哪些权责和基础设施集中,哪些自治,而不是把所有维度一起推向极端。
数据战略从业务出发:数据战略把业务目标连接到数据用例、可衡量里程碑、人才、文化、预算、架构与治理。先确定控制和创新的权重,再决定技术与迁移路径;不同企业的目标与成熟度不同,不应复制同一分权比例。可用可量化结果检验战略,而非以平台上线代替成功。
原书依据 · 21 处
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
- The Journey to Becoming Data-Driven · 查看原书依据
第02章 Organizing Data Using Data Domains
本章从应用的数据语境与权威来源出发,用微服务和服务网格说明边界与解耦的作用,再把DDD扩展到企业业务架构。业务能力描述企业做什么,能力实例描述某一情境下如何实现;二者不能混为同一粒度。共享套件会使应用所有权与数据所有权分离,因此领域划分必须结合现实,而非把一个微服务等同于一个域。最后给出提供者接口、数据管道、元数据与迁移的责任原则。原文称点对点连接产生“指数复杂度”,但其完全图例子n(n−1)/2实际是二次增长;此处明确纠正,保留管理依赖数量的警示。
权威来源定位责任:黄金来源是特定业务语境中管理原始真实数据的权威应用。应从它直接捕获唯一事实,并在其处修正质量问题,避免副本各自补丁。权威性需要按实体、属性和语境核实,不能因为某库拥有副本就授予它原始事实所有权。
提供消费是关系角色:同一应用在不同交换关系中可以既提供又消费数据。提供者负责稳定、清晰的交付,消费者负责把数据解释到自身用途。外部伙伴也可担任两种角色;若无法遵守共同契约,需要增加适当的适配边界。
微服务独立交付的代价:微服务将应用拆为独立运行、管理数据并可单独发布的组件,便于按组件扩展和选择语言。数量增加也会扩大网络依赖与失败传播;只有组件变小,而边界和通信仍混乱时,系统并不会自动更易维护。
服务网格管理通信:服务网格把服务间通信的共用逻辑移到代理层,集中提供监测、发现、策略和安全等能力。它帮助治理通信依赖,但不替业务定义数据含义。异步交换还可由事件代理承担,应按交互风格选择或组合。
限界上下文划解法边界:限界上下文界定模型与语言适用的解法范围,让高内聚部分在边界内协同,跨界依赖通过明确接口协调。领域是待解决的问题空间,上下文是实现模型的边界,两者不天然一一对应;讨论时必须明确所取视角。
子域区分竞争投入:核心子域支撑差异化竞争能力;通用子域处理可由通用产品解决的问题;支撑子域虽非竞争优势却是运行所需。分类帮助分配投入和采购决策,不表示非核心能力可以忽略质量与责任。
通用语言有适用范围:通用语言是业务人员与开发者在同一上下文共同使用的严格词汇。它使模型和沟通一致,但不要求全企业只有一套定义。上下文改变时语言也可能变化,跨域应显式映射不同含义。
业务能力描述做什么:业务能力表示企业为达到某种结果所需的能力,抽象封装人员、流程、信息和技术。它描述做什么而非具体怎样做,因而比某个系统或组织架构稳定。能力映射应使用业务语言,避免把应用清单直接改名为能力图。
价值流连接能力与价值:价值流是一组向客户交付产品、服务或体验的动作。一个步骤需要多个能力,一个能力也可支持多个价值流;将二者映射,才能看出共享投入和业务结果的关系,而非把能力孤立成技术模块。
能力地图提供全貌:能力地图分层表达企业所做之事,并将其关联到战略指标、流程、应用和数据。建模目标是避免重复、遗漏和含混重叠;可先画粗粒度全貌,再逐步增加细节,结合自顶向下与自底向上的发现。
能力与实现一对多:同一业务能力可能在不同地区或业务线实现多次,各自采用不同应用、流程与团队。能力实例属于解决方案空间,不能因能力名称相同就假定系统、语义和所有权完全一致。
应用与组件视角互补:应用是实现业务需求的逻辑边界,可以跨物理环境;应用组件是容器、JAR等具体可部署制品。应用层连接能力、负责人和团队,组件层连接版本、配置和维护。先说清视角,才能避免用部署单元替代业务边界。
共享能力分离两类所有权:共享客户管理系统可服务多个业务域,应用负责人管理技术、管道和组件,数据负责人分别管理各自数据的含义与使用责任。可通过多个产品或产品内的所有权标记划分数据,不能因共用数据库就强行合并所有业务责任。
域按数据角色协作:源系统对齐域从权威来源发布数据;消费对齐域为终端用例转换数据。聚合域组合多个来源再提供共享数据,构造域进一步创造预测等新事实。域角色可混合,发布权限和新事实所有权仍需明晰。
领域聚合不等于汇总:领域聚合把可作为一个单位使用的对象集合封装起来,简化消费。数据汇总则把多条明细按某维度压缩为统计结果。两者名称相近但会对粒度和信息损失产生不同影响。
标准出口约束跨域依赖:公共车道模式要求域内允许紧密协作,跨域数据通过正式且可治理的接口交付。大量读取可使用数据产品,强一致读取或命令可使用API。标准出口不是让所有流量经过一个中央数据中转库。
所有权跟随新增事实:语义和事实未变的过滤、字段改名等语法转换,不自动产生新的数据所有权。组合数据若产生新业务事实,则需要相应责任归属;转发他域原有事实应取得授权,避免消费副本冒充权威来源。
提供者隐藏应用细节:跨域交付应过滤无用技术字段,隐藏内部实现与过度规范化结构,提供可理解、适合读取的逻辑表示。提供者使用自身领域语言,不能把每个消费者的业务逻辑塞进源系统;成熟生产接口需保持稳定与跨渠道一致。
通用平台保持域无关:公共数据服务应提供跨域可复用的技术能力,而把领域规则留在相应上下文。把业务逻辑隐藏在通用集成层,会让消费者无法理解依赖并阻碍域独立变更。
域责任覆盖交付全链:域所有权包括摄取、清理、转换管道、数据质量与服务约定,也包括模式、版本、业务术语、血缘、安全元数据和访问审查。把数据放入共享存储后交给中央团队修理,并未完成产品责任转移。
迁移先建立当前地图:迁移到领域数据管理前,先统一应用、组件、能力和域的词义,列出权威来源、负责人、共享系统与消费依赖。再决定边界和标准,分步实施并校正组织协作。没有当前状态的证据,就无法可靠安排未来状态的路径。
原书依据 · 21 处
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
- Organizing Data Using Data Domains · 查看原书依据
第03章 Mapping Domains to a Technology Architecture
本章区分问题空间的领域拓扑与解决空间的落地区拓扑。领域责任并不强制一个域一套独立基础设施;不同拓扑是在控制、成本、自治与工程能力之间取舍。落地区把经批准的服务、网络和策略编码为可重复环境,管理落地区负责跨域监督,数据落地区承载工作负载。航空公司案例按地域分布并共享存储,说明域、地区和平台是不同坐标。拓扑可混合和渐进演化,不必一次追求终局。关于连接数量的“指数”措辞沿用第2章纠正:完全两两连接的数量通常是二次增长。
完全联邦拓扑的前提:完全联邦拓扑让细粒度域端到端负责数据产品并直接交换,以自助平台和自动治理维持共同规则。它减少中央协调,但要求标准、工程人才、网络治理与跨域一致性能力;不能把组织自治理解为每域随意选择所有标准。
受治理拓扑集中分发:受治理域拓扑保留域的数据所有权,将跨域分发集中在共享逻辑实体。数据交付一次可供多方读取,便于审计、控制和共用算力;代价是中央分发能力可能成为瓶颈,多云环境也更难无缝连接。
部分联邦缓解能力缺口:当源域缺少工程技能或遗留系统难以取数时,可由中央团队协助摄取并虚拟对齐源域责任,同时给消费域较高自治。它是现实过渡方案,但两端运行模型与发布规则可能不一致,需要明确谁负责数据与管道。
价值链拓扑放大边界:价值链拓扑把为同一端到端价值共同工作的域组成较大协作单元。内部可采用较宽松规则,跨链必须遵守公共标准。它适合操作与分析往返紧密的业务,但共享能力和含混边界需要额外架构协调。
粗粒度域有孤岛风险:按地区或事业部形成的大域可包含许多应用,容易保留自主权,也可能重复建设质量、主数据和平台能力。若跨域产品仍经中间孤岛转发,来源与所有权会模糊;应明确能力边界、元数据和交换标准,再逐步细化。
共享模型混合用途有风险:把通用对外数据和特定用例的复杂加工塞进一个大型域数仓,会让只关心单一来源的消费者也受其他用例变更影响。原始数据与高度统一数据之间,还可能缺少保留源业务语境的可消费层。应分清发布责任与消费加工。
集中平台可保持域责任:集中域拓扑让多个域共享一个平台实例,用存储分区与权限隔离各自数据,同时保留域所有权、自助服务和产品思维。共享基础设施便于一致性与成本控制;它不等于中央团队必须承包所有业务含义与质量责任。
拓扑应匹配成熟度:拓扑可以混合,也会随组织演化而改变。选择需考虑域自治、合规、成本、共享数据、工程人才与现有架构,不能把完全分权作为唯一先进终点。可以从简化的集中部署开始,但需留下后续分解的边界。
落地区是可重复环境:落地区用标准构件和代码自动创建预配置环境,包含网络、存储、计算、安全、日志与治理。蓝图给域提供一致起点,再以配置适配需要;它不规定必须采用数仓、湖、网格或织网中的某一种架构。
管理区与负载区分责:数据管理落地区承载域无关的监督能力,如目录、血缘、API目录、主数据与安全监测。数据落地区承载域工作负载和分析服务。区分二者有助于扩展与共享治理,不能因同在一个云账户就混淆管理与业务责任。
单落地区以标准换简单:单数据落地区适合起步、单区域或需要较强一致标准的环境。域可用资源组和数据分区隔离;增加域并不必立即增加账户。团队若有冲突的安全、发布或地域要求,则需要重新考虑分区层级。
共享服务下沉隔离层:多个域共用计算或存储可减少重复成本,但安全、配额和隔离必须在服务内部实现。每域独立实例有更灵活的配置和可预测性能;共享实例会产生资源争用与配置耦合,不能只比较基础设施数量。
数据产品存储有两种边界:每域独立存储实例可独立控制层次、安全和配额;共用实例再按容器或目录分区,则便于统一契约授权和靠近数据处理。可组合使用,选择取决于治理、性能、成本与生命周期,而非把目录结构当作所有权本身。
源消费落地区分工:摄取侧经常需要遗留连接器、CDC和源专属集成服务,消费侧更关注报表与机器学习。分别提供落地区可以隔离这些差异;同一个域若兼有生产与消费职责,可以映射两侧,不能按部署位置推断域角色。
枢纽区集中交换:枢纽落地区作为跨区数据分发与连接点,可以让产品复制一次后多方消费,并统一观察跨域移动。其内部仍应按域隔离而非把所有数据整合成一个模型;也可用虚拟化暴露产品,但要考虑中心依赖。
多落地区隔离差异:多落地区可按地域、安全、生命周期、创新速度、成本核算或容量限制隔离负载。每新增区也增加账户、策略、网络和配置成本;多个管理区更需有明确的独立治理要求。不能仅因团队多就无限复制环境。
蓝图演进需要反馈:落地区蓝图应存于公共可见的代码仓库,由平台团队监督并接受域反馈。先用有限试点验证价值,逐步增加服务与自动化;保持核心标准简洁并说明开箱能力,避免在初期堆积大量定制。
湖仓组合两类能力:数据湖仓试图在数据湖的灵活格式、成本和扩展基础上,增加数仓的数据管理与事务能力,以同时服务分析与机器学习。它是技术架构组合,不会自动解决域所有权、业务语义和治理协作。
原书依据 · 18 处
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
- Mapping Domains to a Technology Architecture · 查看原书依据
第04章 Data Product Management
本章把产品思维、逻辑数据产品与交付架构分开:同一语义可以有多个物理表示,不必把数据、代码、基础设施和所有元数据封装成一个部署容器。CQRS启发用独立读取表示保护操作系统;真正的消费友好还依赖模型、历史、质量、版本和安全。提供者应发布稳定的领域事实,消费者保留自身业务规则。后半章用湖仓分层展示摄取、清理、历史化、读优化与目录发布,明确示例简化了安全等生产细节。
数据产品先统一含义:“数据作为产品”是一种责任与客户体验思维;“数据产品”则需组织明确其架构含义。本书采用逻辑实体定义,描述可消费数据、所有者、业务语义与物理位置关系。仪表板、模型和可部署容器也常被称产品,讨论前必须先统一词义。
语义与物理表示分离:同样含义的数据可以同时存在于不同格式与位置。把逻辑产品关联到这些物理资产,可统一所有权、分类和业务定义,避免复制数据时复制出彼此冲突的责任元数据。数据元素是连接业务词义和物理字段的原子信息单位。
CQRS分开命令查询:CQRS把修改状态的命令模型与读取状态的查询模型分开,二者可采用不同表示和扩展策略,并通过变更传播保持同步。读模型适合密集消费,写端保留事务约束;同步机制增加复杂性与可见延迟,不能默认查询立即看到刚写入的状态。
物化视图预计算读取:物化视图存储预计算查询结果,以额外存储与刷新工作换取读取效率。它与CQRS共享为读取维护单独表示的思想,但可能仍与源表位于同一数据库;不能因此假定已经获得独立故障边界。
资源模型降低消费成本:按业务资源及同类对象集合组织数据,预先进行必要的反规范化和计算,可减少消费者反复理解内部表与执行复杂连接。粒度、键和跨产品引用必须一致;读优化并不表示丢掉所有明细或任意汇总。
DataVault并非通用出口:Data Vault通过hub、link和satellite等结构适应数仓变化,但消费者需理解额外模型并连接多表。它可作为内部建模方式,却未必适合作为直接跨域发布的读友好接口;是否使用应区分内部维护与外部消费需求。
发布数据只读可重建:数据产品对消费者只读,事实修正回到权威来源,再通过受控流程重建或重发。这里的不可变强调不允许消费者各自在共享事实中改出不同真相;不表示数据永远不能因纠错、删除要求或版本演化而经过治理更新。
原始接口需标明边界:原始应用表把内部复杂性和变更风险交给每位消费者。正式产品应隐藏技术细节并经过质量处理;探索阶段若开放原始接口,应标记临时、私有且无生产保证,避免未经约定成为长期生产依赖。
消费者逻辑留在消费域:通用数据产品应发布本域事实,不能为每个消费者嵌入专属算法。会计规则若分散到众多源域,每次修改都需要跨域同步;由会计域消费足够的源事实再计算,可减少协调并保留其他用途。
缺失值需要明确语义:没有统一规则时,缺失生日可能被人工填入看似真实的日期,使消费者误判质量。应明确定义缺失、默认和数据类型;书中9999-12-31是可识别哨兵的例子,并非通用推荐,选值还要考虑实际类型范围与下游约定。
原子属性便于治理映射:原子属性表达在当前模型中不可再有意义分解的业务信息,并尽可能与业务元素一对一关联。将姓名多个部分硬拼成一个字段,会迫使消费者拆解,也让敏感分类难以精确继承。原子性需结合业务语义判断。
兼容需要迁移窗口:产品与源系统解耦需要检测模式漂移、版本约定和兼容边界。破坏性变更可暂时并行运行新旧管道,让消费者迁移;历史数据的重映射、默认和清理也属于版本迁移成本,不能只更新当前模式。
参考值抽象按变化速度:若源端细分类别变化快,可发布较稳定的上层参考值;若消费者变化快,消费者应维护本地映射。抽象可降低变化传播,但不等于强制所有域采用一个完整企业模型;公共代码和主标识只解决必要的一致性。
跨产品关系需要描述:域产品独立发布后,消费者仍需知道哪些键可以连接、引用什么实体。目录或知识图谱可记录这些关系和连接键,但不应以跨域预整合掩盖原有所有权。关系描述是可组合性的前提,而非企业只有一种语言。
新产品应隔离消费实现:用例计算产生新业务事实后,再对外提供时应建立稳定抽象并承担新所有权。直接把临时消费表暴露给其他域,会把它们绑定到当前用例实现。应发布处理血缘与转换过程,保留可追踪性。
产品架构提供通用能力:产品架构需覆盖输入摄取、输出供应、元数据、工程运行、质量与主数据以及市场发现。多个逻辑产品可共享架构,但域之间应隔离管道和责任。平台服务复用不应演变为所有业务逻辑集中处理。
批流摄取按约束选择:批处理一次转移大批数据,适合周期需求、复杂查询和完整性核对;实时摄取用事件或API获得增量,适合低延迟需求。实时并不自动解决全量完整性与重建,二者可以并存。对账可用记录数、校验和或分片比较等方式交叉检查。
复杂源需要适配服务:遗留包和SaaS可能有复杂模式、封闭接口、限流或按调用计费。专用连接器与缓存摄取可隐藏源复杂性、降低重复调用,但必须核对全量获取与刷新能力;逐步缓存请求不能无条件证明已经覆盖完整数据。
血缘兼容应提前验证:摄取与转换工具需要把提取、处理和输出关系送入血缘仓库。工具选择时就要验证扫描器和元数据能否联通;事后补血缘会受既有转换框架限制,不能只凭支持某数据库就假定端到端可追踪。
质量检查分两条防线:摄取完整性检查验证数据是否符合公布模式,由源域负责;联邦功能检查关注跨域完整、准确、一致和合理性。它们可异步运行并反馈负责人。统一指标有助于比较,各域自建互不兼容框架会损害整体控制。
质量控制形成反馈环:当质量低于阈值时,可隔离数据并要求负责人确认、撤回或重发。持续监测与源头修正构成闭环;若只在产品平台永久补丁,源问题仍会传播至其他位置,质量责任也被转移。
快照历史易重发难查询:按时间分区保留整批快照,实施简单并便于重新提交错误批次。若缺乏有效期字段,消费者比较多年变化需要反复扫描并计算差异。较低存储成本不能抵消所有查询、纠错与删除成本。
区间历史减少重复:SCD类型2通过比较新旧数据,为版本打开开始时间并关闭旧版本结束时间,便于按时间查询。它减少重复完整快照,但需要检测变化、处理重发与有效期;非业务字段应排除比较,避免制造无意义历史。
追加历史保留变更序列:追加模式只把新或变化记录加到既有集合,适合交易和事件记录,常与CDC组合。它不同于覆盖当前值;消费方若需要当前状态,还必须解释顺序、删除与有效性,而非把每行都当作独立新业务事实。
历史策略可以组合:主数据可维护区间版本,参考数据可保存快照,交易可追加,同时保留原交付以支持重发。还可提供按范围、属性和时间间隔生成历史视图的服务。选择需考虑数据类型、消费要求与治理,不能一律要求所有数据采用同一形式。
虚拟化不能替代历史管理:虚拟访问可统一入口并减少副本,但仅靠源系统在线查询难以承担历史归档、源模式解耦、不同输出格式和重负载。网络或源系统故障也会传播。可虚拟化访问已加工产品,不应默认虚拟引擎包办产品整个生命周期。
湖仓分层区分加工责任:Bronze保留源交付用于重放与调试,Silver执行清理、校验和历史处理,Gold形成读友好资源模型。分层名称只是案例约定,关键是明确每层输入、变化与输出责任;厂商格式、默认历史天数需按部署版本另核验。
管道粒度避免重复处理:为每个细小产品分别建立管道,可能重复读取同一源、造成运行间隔不一致并破坏可组合的时间状态。可按完整应用状态组织共享处理,再生成多个清晰产品;粒度应依据依赖和完整性,不能机械地一产品一管道。
多输出保持同一语义:同一逻辑产品可用文件、关系、列式、文档或图等输出满足读取模式,但所有输出仍由同域负责并遵守相同语义与治理。数据库选型需要衡量查询、容量、延迟和一致性;无模式或NoSQL本身不等于不支持事务。
脱敏位置改变保护方式:保护可在读取时动态过滤,也可在入产品前标记化,或为项目复制受控脱敏版本。运行时保护不改原存储,但所有入口都必须受策略约束;导出文件也应执行契约、列与行规则,不能成为绕行通道。
编排支持域独立运行:域管道需要测试、发布、监测与调度能力,平台提供共用日志和端到端观察。跨源时间与依赖协调可由通用框架支持,但不能把所有域变成必须同步发布的一条中央管道。
是否复制由消费约束决定:直接读取减少副本,但新事实、低延迟、重查询预计算或故障隔离可能需要本地复制。副本应受架构与数据契约管理,记录使用、清理和再分发,不能以本地性能为由失去来源和生命周期控制。
产品价值需要持续度量:产品团队需要资金、角色和运行手册持续改善质量,公共治理组织维护共用标准。可观测消费者数、质量问题、满意度和启用用例等指标;产品发布数量不等于实际业务价值,创建产品和消费创造价值应分别管理。
原书依据 · 33 处
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
- Data Product Management · 查看原书依据
第05章 Services and API Management
本章将数据发布原则扩展到操作接口:API暴露业务能力并连接实时分析与事务系统,仍应围绕业务域、契约和产品责任设计。传统ESB在路由和适配之外累积中央业务逻辑、共享模型和状态时,会重现数仓的耦合。现代方案把逻辑归还领域,网关处理通信治理,目录保存全局发现信息;对外与面向体验的接口则按各自信任边界与客户需求增加适配。原书把SOAP与JSON并列成协议、把JSON当作SOAP替代品,层次并不一致:本笔记区分协议、数据格式与架构风格;函数慢必因廉价剩余算力和CQRS是唯一方法等强断言也不作通用结论。
API连接实时能力:API是应用或组件间访问数据与业务能力的接口。同步请求响应让调用者等待结果,适合需要当下判断的小规模交互;API也可只接受请求并异步处理。数据产品副本通常有传播延迟,因此强一致需求应明确由哪一权威服务满足。
SOA以服务隐藏实现:面向服务架构通过明确服务接口暴露业务功能与数据,隐藏内部应用实现并促进独立演化。它既可连接操作系统,也可调用实时分析能力;不是购买ESB的同义词。是否真正解耦取决于契约和依赖,而非使用HTTP这一点。
REST围绕资源表示:REST把重要业务对象抽象为有标识的资源,通过统一接口操作其表示。资源可以组合合同、客户和关系,并不等同于一行数据库记录。GET通常读取,PUT替换、PATCH局部修改、DELETE删除;POST处理请求语义不应只理解为数据库插入。
ESB承担集成中介:企业服务总线可路由消息、转换格式、适配旧系统、处理兼容与组合调用。它能减少底层协议差异,却也可能因集中业务规则和多层包装而变成庞大耦合点。应区分必要的技术适配与本应属于域的决策逻辑。
服务描述区分接口与模式:WSDL描述服务操作、位置和传输等接口信息,XSD描述XML文档结构及校验规则,服务仓库保存可用性、版本和政策信息。三者提供不同层次的协作资料;有文档不代表业务含义与兼容性已经达成一致。
聚合编排有责任边界:服务聚合把多个接口组合成一个入口,编排则决定调用次序和结果组合。中央编排便于复用,却增加中心性能与故障依赖,还可能模糊底层责任;消费域编排更贴近自身业务逻辑,但会承担重复实现成本。
BPM保留流程状态:业务流程管理适合跨应用、可中断、可能等待人工的长流程,记录任务、规则、状态与等待关系。客户、合同等业务实体仍应由相应应用管理,不能把流程引擎当成共享业务数据库。短小域内流程也未必需要独立BPM平台。
协同分散流程决策:服务协同让参与者观察变化并自主行动,没有一个组件控制全部步骤。它减少中央编排,但整体流程和责任更难观察;协同、聚合与编排可以混合,需要登记依赖并明确谁负责局部结果。
公共私有接口职责不同:公共业务接口提供对外可理解的功能,私有技术接口服务内部实现,可能直接暴露表或技术操作。内部接口可以变化更快;跨域发布则需稳定、登记与契约。这里的公共不一定指任何互联网用户都可访问。
服务模型与规范模型有别:服务模型描述特定接口的数据、属性、关系与使用方式;规范模型试图把多个接口统一到同一语言。企业级统一若吸收所有域的特殊要求,容易形成大量可选字段与协调成本,应把统一范围限制在实际需要。
总线不宜承担业务状态:如果ESB保存多个应用的业务状态,应用变更必须协调共享结构,中心故障也会影响多个流程。技术中介宜仅保留必要会话与缓存;业务实体归应用,长流程状态归明确的流程能力,避免状态责任混淆。
网关控制调用不揽业务:API网关接收调用并路由至后端,提供安全、限流、监测与使用报告;开发者门户提供发现、文档与示例。复杂业务和聚合逻辑应由负责该语境的域组件承担,避免把网关重建为新的中央ESB。
复合API归属逻辑所有者:一个调用组合多个后端时,业务规则应放在拥有该规则的域内,网关只承担必要的验证和路由。跨域复合接口需要注意一致性、权限和底层依赖,避免复合接口再层叠复合接口,隐藏调用网络。
API契约支持共同验证:API契约记录结构、协议、版本与方法等约定,可用OpenAPI等机器可读格式表达并用于文档和测试。消费方提供期望测试可帮助发现破坏性变更;规范文件本身仍不能替代业务语义与权限的协商。
服务目录提高可发现性:服务目录统一记录接口所有者、版本、变更、使用和描述,支持复用及依赖识别。分布式网关和网格都应连接目录;可将注册放入发布流程,而非依赖事后人工寻找数千个服务。
函数隐藏运行基础设施:FaaS把函数作为按需执行的部署和计费单元,用户不用直接管理底层服务器。函数仍需要接口、所有者和跨域契约;响应时间受冷启动、配置与负载等约束,不能由“无服务器”推断恒定快慢或必定异步。
网格与网关边界互补:服务网格治理环境内部的服务间通信,网关常作为跨域或外部入口。控制面定义路由、策略和安全,数据面执行请求处理。实际部署可以组合,关键是内部技术接口与跨域业务接口具有不同治理要求。
外部接口独立信任边界:外部伙伴可能使用不同语言、协议与身份体系,并需要独立限流、计费和攻击防护。增加外部适配层可隔离内部变化并支持伙伴体验;是否分开部署应依据业务策略与安全边界,而非只看能否共用一个网关。
体验层靠近客户优化:面向用户的接口需要减少请求、缓存稳定内容、管理会话并验证输入。BFF为不同前端提供适配,避免移动端与桌面被同一后端表示束缚。体验域承担这些规则,源域仍负责其业务事实与权限。
GraphQL选择需要的数据:GraphQL通过模式和查询语言让客户端指定所需字段,可在已有服务之上组织统一访问。它有助于避免多余字段和往返,但不会消除后端负载、权限与跨域语义问题;模式联邦也不应自动演变为一个庞大企业通用模型。
读API可路由到副本:域可把允许最终一致的查询路由到读存储,把命令和需强一致的读取送往权威操作系统。这样复用对外接口同时降低源负载,但必须向消费者明确一致性约定;接口地址相同不表示所有操作具有相同新鲜度。
原书依据 · 21 处
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
- Services and API Management · 查看原书依据
第06章 Event and Notification Management
事件描述某一时刻发生的变化。异步交换降低时间耦合,也引入重复、延迟、乱序、重放和治理问题。本章逐步增加代理、转换、模式仓库、事件存储与分析组件,说明一套消息中间件不等于完整事件架构。内部技术事件与跨域业务事件必须隔离。原文对至多一次与强一致的描述有误:至多一次允许丢失但不应允许重复;有序处理不等于强一致,也不必靠锁住所有副本实现。消费确认删除更不能单独保证业务副作用恰好一次。本章相关卡明确这些边界。
事件与通知载荷不同:携带状态的事件包含完成消费所需数据,可帮助接收方维护本地副本;通知只表达发生变化及其引用,消费者还要回查来源。前者增加载荷与复制治理,后者保留时间和源可用性依赖,应按用途取舍。
异步降低时间耦合:异步交互让生产者不必等待消费者立即完成工作,消费者在后续处理消息。它增加缓冲和故障容忍空间,但需要管理处理滞后、失败与状态可见性,不能把发送成功等同于业务已完成。
队列与事件日志分工:队列暂存待处理消息并以确认支持任务分配;持久事件日志则允许不同消费者按各自位置独立读取和重放。确认前后崩溃仍可能带来重复或丢失,是否具有端到端恰好一次效果取决于消费事务与外部副作用协议。
代理抽象事件路由:事件代理验证、存储、路由和交付事件,可能提供聚合或分布式持久化能力。topic、stream、event hub等名称常承担逻辑事件分组作用,但具体顺序、保留和投递保证需要逐平台核实,不能仅按名称等同。
事件处理从单点到模式:简单事件处理直接响应单个变化;流处理可根据过去事件维护状态;复杂事件处理识别跨来源和时间窗口的组合模式。产品能力常重叠,应按实际状态、窗口与匹配需求评估,而不是把三类当成互斥技术。
应用与数据库均可产事件:应用代码或前端可表达业务事件,但需要与语言和中间件适配。数据库变更可通过轮询、触发器或日志CDC捕获;它较少依赖应用修改,却往往只暴露物理行变化,还需转换为业务可理解的事件。
轮询触发器与日志CDC:轮询周期查询新变化,实施较简单但增加数据库负载且可能需要更新时间字段;触发器随写入执行逻辑,会影响写路径;日志CDC读取事务或审计日志,降低反复查询但有工具和数据库条件。选型需同时考虑完整性和运维成本。
扇出支持独立消费者:扇出让多个消费者读取同一事件流,各自保存消费位置并按自己的节奏前进。它区别于多个工作者竞争处理同一任务;能否重读还取决于保留期和位置管理,消费者慢于保留窗口时需有恢复计划。
渐进替代可借事件扩展:可让云函数消费旧系统事件、完成新能力并将结果返回旧系统,以逐步补充或替代原系统的一部分。书中把此类方式归于绞杀者模式;关键是明确新旧职责与过渡路径,不能只要调用一个函数就认为完成现代化。
事件转换应留在域边界:接收侧和发布侧之间可设置转换组件,将原始事件映射为稳定业务结构,并支持版本兼容。路由与模式可元数据驱动;领域规则仍由生产或消费域负责,公共消息平台不能暗中承包所有业务转换。
模式仓库约束消息演化:模式仓库保存消息结构、版本、所有权与说明,可在注册或传输时进行兼容验证。它应区分内部与业务流,并连接目录与血缘;JSON灵活格式本身不提供兼容保证,需要额外模式与发布规则。
事件存储支持查询重放:事件存储持久保留事件,使消费者能够查询、补充数据或从过去重放。可放在生产或消费侧,分别支撑读取副本或本地用例;存储技术需要按查询、保留、成本和重建要求选择,不能默认无限保留。
命令记录不等于事实日志:命令源记录处理前的请求以便审计与恢复,事件记录已经发生的事实。重放命令可能重新调用外部系统或因当前状态得到不同结果,必须区分重建内部状态与重新执行业务副作用,不能随意重试历史命令。
变更订阅触发增量处理:change feed在数据变化后提供增量输入,可触发函数即时验证、解析和传播,减少自建轮询工作者。它简化反应链路,但仍需核实起点、保留、重复和删除语义,不能把“有变更流”当成完整业务事件契约。
内部流与业务流隔离:内部流服务域内技术协作,可保留实现细节;跨域业务流需要读友好、稳定、所有者和更完整的登记。可用独立服务、命名、访问控制或集群隔离。其他域不应直接订阅内部流,否则生产者失去独立演化空间。
流保留需生命周期控制:长期保留可支持副本重建与历史分析,也增加成本、删除与隐私治理负担。可按需求压缩到最新状态或卸载到历史存储。共享企业事件平台若同时成为应用主数据库,会混合治理与故障责任,需明确边界。
背压暴露处理能力差:背压源于接收速度暂时超过处理能力,可能导致缓存耗尽和数据丢失。需要扩容、限制输入、持久缓冲或溢出转存等策略;丢弃是否允许必须由业务契约决定,关键消息不能只靠加大内存缓冲。
一致性不能只看顺序:最终一致允许副本在传播期内暂时不同;强一致关注操作的观察规则。消息有序不等于副本间已达到强一致,也不能以速度快慢直接判断一致性。跨域流可配合缺失检测和对账,前提是明确业务容许的滞后与恢复范围。
处理保证要端到端界定:至少一次允许重复;至多一次可能丢失但不重复;恰好一次应说明保证覆盖的状态和副作用边界。原文把至多一次写成也允许重复,应纠正。事件唯一标识、幂等处理和事务可以帮助控制重复,但不能仅靠事后去重就宣称所有外部效果恰好一次。
顺序保证有分区范围:事件可能乱序,消费时需明确顺序的业务键、分区范围和序号。分区内有序不代表所有分区存在统一全局顺序;增加并行分区会改变协调需求。若在消费侧重排,应同时处理缺失、重复和等待窗口。
死信保留失败证据:死信队列保存无法正常交付或处理的消息,便于检查格式、尺寸、目标与超时等原因。应有负责人、监控和受控重发流程;移入死信不代表业务完成,重放也要避免产生重复副作用。
序列化与传输分层:序列化把数据转换为可交换表示并描述类型,有助于兼容与版本管理;传输协议负责通信。Avro、Protobuf和Thrift与MQTT、AMQP并非同层概念,原文混列时应区分。采用JSON仍可另加模式校验,不必放弃结构约束。
事件命令查询应分责:事件表达已发生事实,命令请求执行可能被拒绝的动作,查询不修改业务状态。把命令职责随意跨多个应用拆散会使事务完整性难以保证,需要显式失败与补偿安排。流式复杂度应由可量化业务价值证明,而非把实时当作默认要求。
原书依据 · 23 处
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
- Event and Notification Management · 查看原书依据
第07章 Connecting the Dots
本章将数据产品、API和事件视为互补工具:先按时效、完整性、调用方向和一致性选择模式,再保持同一域的语义与责任一致。概念、逻辑与物理模型之间的映射支持发现和治理,而组织的交付模式决定这些标准能否落实。后半章讨论企业架构指导、域边界、例外、平台与基础设施团队、Team Topologies和规划节奏。低延迟支付只是规则例外的示例,不把书中100ms当成所有支付的普遍要求;API协议本身也不保证强一致。
交换模式按需求组合:批、API和事件可以在摄取与消费两侧组合。选择先看可接受延迟、完整性核对和由谁发起交换,再评估成本、恢复和维护。实时摄取可以供批量产品消费,API也可读最终一致副本,不能单凭工具名称判断业务保证。
队列缓冲削平请求峰值:队列负载平衡在高峰请求与有限后端之间加入持久缓冲,使后端按可承受速度处理。它以等待时间换稳定性,需要定义接收与完成状态、容量和失败恢复;若业务必须立即获得最终结果,则不一定适用。
概念逻辑物理模型相连:概念模型描述业务对象和含义,逻辑模型表达实体与关系,物理模型描述实际存储与接口实现。把不同表示映射到共同业务元素,可比较同域数据产品、API和事件语义,也能保留消费者转换后的新语境。
元数据也需要质量控制:元数据若缺少业务词义、来源和所有者,数据即使存在也难以可靠使用。可检验物理字段是否映射业务元素、限制不完整发布并报告覆盖程度;建立捕获责任和更新流程,避免目录只在初次登记时准确。
架构手册降低决策成本:把交换模式的适用条件、成熟度、产品选择、优缺点和示例编成手册,结合设计问诊与社区培训帮助团队决策。架构审查可要求明确数据与集成方案,但指导应能促成落地,不能只有审批图而无可用能力。
业务边界决定发布要求:同一平台可同时服务域内和跨域通信,但二者接口稳定性、文档和登记要求不同。域内允许更多技术细节,跨域要隐藏实现并保持可消费性。不能因为共用网关或存储,就允许消费者直读生产内部结构。
例外仍需保留治理:确有测量证据的延迟关键场景可能需要绕过中间层,使用直接连接。例外应记录依据和边界,仍遵守接口、安全、文档与血缘等要求;不能把一项性能豁免扩展为全面免治理。
域平台基础设施各有责任:域团队负责业务应用、管道和正确数据;数据平台团队把基础设施组合成自助数据能力;基础设施团队负责通用服务、成本与政策控制。职责可由同一组织或虚拟团队协作完成,重要的是交付接口和责任清晰。
团队拓扑服务工作流:流对齐团队围绕业务工作交付价值;赋能团队帮助其学习和补齐能力;复杂子系统团队承担专业性很强的组件;平台团队把公共能力当作内部产品。应根据依赖和认知负荷安排互动,而非把团队名称机械贴在部门上。
内部开源促进知识流动:跨团队临时协作、借调或贡献共享代码,可以加速缺失能力交付并传播知识。它类似开源贡献模式,需要明确维护与归属,不能把临时借调当成长期掩盖平台资源不足的办法。
规划连接局部与跨团队:短迭代及评审帮助团队调整交付,跨团队规划用于展示进展、发现依赖和协调更长周期目标。两种节奏解决不同范围问题;大型会议的存在不证明协作有效,架构角色应帮助排除障碍并持续吸收反馈。
企业架构连接上下层:企业架构把业务战略与软件实施相连,观察跨域依赖并指导可执行的演进路线。域架构聚焦局部知识,企业视角补齐共享能力和整体约束。二者需要沟通与支持,而非只靠未来状态图推动组织变化。
原书依据 · 12 处
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
- Connecting the Dots · 查看原书依据
第08章 Data Governance and Data Security
治理决定数据含义、责任与用途,安全执行允许谁在何种条件下使用;二者共享元数据基础。本章先定义角色、框架与流程,再把契约、分类和用途映射到统一授权架构,最后讨论API与事件的差异。域的业务边界可以辅助安排信任责任,但域内仍需最小权限,不能由“同域”推断所有人可信。原文日志保存SSO token的说法不能作为安全建议,笔记只保留审计主体与决策标识,避免记录可重放凭据。2023年的监管与厂商功能判断均不当作当前合规事实。
治理随规模显式化:小团队可通过熟人协作隐式管理数据,规模扩大后知识分散、责任模糊与跨域使用增加,必须显式定义决策和流程。治理应帮助发现和安全使用数据,而不是把所有数据先冻结在审批队列中。
数据角色按责任划分:数据负责人对质量、定义、分类和用途负责;应用负责人维护技术、接口与运行;数据管家落实标准并提供专业知识;使用者提出用途需求,创建者按约定产生数据。角色可兼任,但共享应用时需要保留责任区别。
治理框架落实工作说明:治理框架把角色、政策、流程和质量处理等活动连接起来,并定期更新。RACI等责任矩阵帮助明确谁负责、谁承担最终责任及谁参与,成熟度模型用于观察执行进展;角色名称相同并不证明各企业职责相同。
治理机构由执行转赋能:联邦环境下中央治理团队负责公共标准、培训、审查、透明度和改进,域团队执行本地管理。中央不必亲自操作所有数据,但需要授权和可用工具;治理应分阶段聚焦关键数据,以业务价值和问题解决衡量效果。
治理工具需元数据联通:目录保存业务描述与血缘,应用仓库记录技术资产和负责人,唯一元素仓库描述语义实体,契约应用记录使用条件。扫描、画像和知识图谱补充观察与关系。这些工具应形成一致视图,不能各自建成新的孤岛。
数据契约兼顾技术用途:数据契约约定谁可为哪些目的使用哪些数据,同时包含模式稳定、质量、服务水平和版本等技术约定。技术工程师与业务负责人需共同参与;契约文本不能自动保证交付,需要管道验证与授权执行。
稳定标识脱离物理路径:使用稳定唯一标识引用逻辑产品与元素,可以承受物理文件移动或同语义多副本。标识仍需准确映射到当前位置并治理其生命周期;随机生成一个GUID并不能自动解决重复语义和错误关联。
使用协议约束再分发:使用协议描述目的、隐私、允许组合、进一步分发与保留等条件,与某一个接口实现无关。属性应映射业务术语,以便解释授权含义;难以自动执行的伦理或用途约定还需定期审计与责任落实。
可观察性检验契约健康:数据可观察性关注新鲜度、完整性、数量、血缘、质量与趋势。把运行统计连接契约和产品,可发现延迟、缺失及质量恶化;监控仪表板不是控制闭环,还需负责人和明确的处理动作。
契约自动化循序渐进:先确保来源责任和管道稳定,用简明表单验证实际需求;再实现契约存储、审批、授权与数据验证,逐步支持细粒度策略与自助服务。过早堆积大量元数据和审批条件,会阻碍文化转变而非提高控制。
跨域安全需携带语境:数据离开来源域后可能被复制和组合,敏感性会随用途变化。跨边界应携带分类、用途、所有权及必要过滤元数据,建立契约、血缘和一致执行。域内也应按职责控制访问,不把组织边界当作无条件信任。
分类与标签分离策略:分类说明数据内容类型,如姓名、银行卡号;标签表达保护等级,如机密。政策将二者关联,可让保护规则调整时自动影响相关资产。方案也应覆盖文档和日志,避免只分类表格而遗漏其他敏感内容。
用途分类限定使用场景:用途分类表达研究、人力资源或财务报告等使用情境,与数据分类共同影响授权。列表应集中维护并保持易选;某人属于部门不代表可访问该部门全部数据,仍需核对必要范围与具体契约。
ACL与RBAC授权有别:ACL把允许主体和动作附着到具体对象,RBAC通过角色汇集权限再分配用户。前者适合对象粒度,后者便于组织治理;过细角色可能爆炸,过粗角色又会扩大权限,需要生命周期和审查而非只选一种模型。
ABAC结合多种属性:ABAC按主体、数据、环境和操作等属性评估策略,可表达部门、敏感等级和工作位置等组合条件。灵活性依赖属性准确与及时,不能把更多属性等同于更安全;需处理缺失、冲突及过期信息。
授权决策执行分离:PEP拦截并执行授权,PDP根据政策决定允许或拒绝,PIP供应主体和资源等属性,PAP管理政策。分离职责使多技术入口共享规则;实际系统可组合部署,但不应允许绕过执行点直读底层数据。
身份与权限不可混淆:身份提供者负责认证及相关身份属性,SSO让用户一次登录访问多个应用。SAML和OpenID Connect可用于身份联邦,OAuth主要处理授权委托。认证成功仍需按资源和用途授权,且日志不应保存可重放令牌。
授权需要多源上下文:决策可结合契约、目录分类、产品健康、调用主体、消费环境和用途。先采用最必要属性,再逐步扩展;访问记录保存主体与决策证据可支持审计,不应将凭据原文当作分析标签。
细粒度保护可多处实现:可在数据服务内用行列策略或安全视图执行,也可在统一入口拦截查询,或发布受控脱敏副本。三者成本与风险不同,必须保护原始入口、同步撤销和副本生命周期,避免一种路径安全而另一种路径绕过。
共同所有权需要授权规则:共享系统可按负责人拆分产品,或在单产品内携带行级所有权元数据并动态过滤。多所有者时可建立有据的委托审批以降低负担,但委托范围必须明确,不能以一人同意替代所有人的必要授权。
API安全有入口与源两层:网关校验令牌、范围和公共政策,源服务结合业务上下文决定返回什么。消费者传来的权限属性须可验证,跨域缓存还需过期和撤销策略;多跳获取上下文会影响时延,应按实际信任与性能取舍。
聚合安全不能放宽源规则:复合接口须遵守各来源的本地规则,并由聚合责任方补充组合后产生的新限制。组合可能增加敏感性,不能只检查单个来源各自可读;消费者也要提供可信的必要上下文,不能自行声明更高权限。
事件细粒度授权需过滤层:若消息平台仅提供流或topic级访问,无法直接表达复杂行列规则,可由受控组件读取内部流、结合策略并发布消费专属输出。需要同时管理新增流的成本、模式和策略变更,不能以2023某厂商功能描述判断当前所有平台能力。
个人数据治理连接主数据:保护个人数据需要治理识别敏感内容和目的、安全限制访问、主数据帮助识别同一主体及其同意记录。三者协调才有望追踪分散副本;这只是架构职责划分,不构成对特定法规的完整合规结论。
原书依据 · 24 处
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
- Data Governance and Data Security · 查看原书依据
第09章 Democratizing Data with Metadata
元数据连接数据含义、实现与运行,是全局可发现性和治理自动化的基础。本章先分类,再建立企业元模型,将逻辑产品、业务词汇、物理属性与血缘关联;随后提出metalake,把分散工具的描述通过集成和质量处理汇集成可使用的知识。目录提供资产管理和发现,知识图谱增强跨类型关系查询,市场门户则把后台能力转成消费体验。AI辅助映射与自动集成在此属于方向与条件性能力,不应把未来愿景记录成已实现效果。
元数据分业务技术运行社交:业务元数据描述含义、所有权与用途;技术元数据描述模式、格式和接口;运行元数据描述执行状态和时间;社交元数据描述使用、评价和协作。分类有助于明确来源与维护流程,但敏感配置和密钥不得因为属于技术元数据就公开收集。
企业元模型连接管理实体:企业元数据模型定义域、应用、产品、人员、流程和技术等实体及关系,具体工具中的元模型是其实现。先按治理问题选择必要范围,再适应工具约束,避免把某厂商目录结构直接当作企业全部需求。
产品元素连接词义与字段:数据产品元素把逻辑产品与业务词汇、物理属性连接,可由带属性关系的词汇承担,也可建为独立实体。后者扩展关系更灵活,却增加维护成本;同语义多物理表示应关联同一业务定义。
词汇表保留上下文差异:概念模型和词汇表解释业务术语、关系与定义,可按域分层管理,并标记同义、缩写和相关词。它可包含尚未实现的业务概念,不能要求每个词都立即映射字段;跨域同名词也不应无条件合并。
物理模型不等于逻辑模型:逻辑模型组织实体、属性和关系,物理设计受性能、安全和存储技术影响,可把多个逻辑实体合并或以不同方式表示。扫描可恢复实现结构,却不能自动还原所有业务含义,需要专家补充语义映射。
元数据采集混合多种渠道:连接器扫描、建模工具导出、运行时API捕获和人工众包可以互补。扫描覆盖不到的源需提供抽象描述并标明缺口;人工补充还要有负责人和更新流程,不能把一次采集当成持续准确。
血缘解释移动与影响:血缘记录数据起源、流动和转换,支持调试、依赖分析与变更影响判断。可由扫描、运行时代码或手工提供,不同工具可能只支持不同粒度;应在选型时定义字段级或表级要求,避免误把局部图当成端到端完整图。
本体集成依赖映射准确:把业务概念映射到可寻址的物理数据,才可能按语义自动提取、连接与提供数据。过期模式或错误概念映射会使智能集成失效,自动化不会消除元数据质量的前提。
元数据湖汇集管理观察:metalake是统一管理多类元数据的架构,支持发现、血缘、质量、使用和健康观察。它需要选择、清理、集成与生命周期管理,而非原样堆积所有工具导出;元数据同样可以复用批、API和事件的集成模式。
目录是组件不是全体系:目录提供资产清单、搜索、业务背景及适用性信息,但其扫描、执行和跨工具集成可能有边界。应按企业元数据战略选择并补充能力,保持所有权、标签和词义映射;不要把治理流程完全折成厂商可配置的功能。
知识图谱表达跨源关系:知识图谱以实体和关系网络连接现实概念与来自不同来源的信息,适合导航、搜索和复杂关系查询。它可连接元数据与物理位置,但图的存在不代表映射正确;权限、语义与更新责任仍须治理。
RDF用三元组表达资源:RDF以主语、谓语、宾语三元组表达资源与关系,提供可扩展的图式信息表示。它适合链接分散描述;采用RDF并不会自动获得同一业务语义,还需共享标识、词汇和映射。
OWL定义本体含义:OWL为本体提供可形式化的概念和关系表达,帮助描述约束和语义。它可用RDF表示,从而把模型含义也作为数据管理;本体推理的表达并不等同于对实际数据进行所有完整性校验。
SPARQL查询RDF图:SPARQL用于查询与处理RDF数据,并可支持跨图或联合来源访问。它让图中的业务和技术关系可检索,但实际联邦查询仍依赖端点可达、权限和性能,不能由标准名称推断所有源无缝联通。
SHACL验证图的形状:SHACL用形状图描述对数据图的要求,再检查数据是否符合。它把“模型里应有哪些关系或属性”的质量约束显式化,补充本体含义表达;验证结果仍应附所用形状版本与数据范围。
SKOS组织可共享词汇:SKOS提供表示词表、分类和叙词体系的公共模型,使概念的层级、标签及关系可交换。它有助于组织业务术语,而非替代所有复杂业务本体或数据库模式。
织网可用层次映射数据:书中Anzo案例通过来源层、转换链接层和消费语义层组织Graphmart,借助元数据定义和查询处理形成集成视图。这展示元数据驱动织网的可能方式,不是对当前产品能力或所有工具的统一保证。
核心元模型允许领域扩展:中央模型固定关键实体和关系以便互操作,域可添加自己的属性、词汇和分类。扩展应保留与核心和物理位置的联系,避免无协调地改变公共含义;这样兼顾共同查询与局部语境。
数据市场连接发现与履约:数据市场门户以目录、图谱和契约服务为后台,提供搜索、质量和使用信息、申请与获取能力。评分和推荐只能提供线索,不能代替适用性判断;后台授权和履约状态需双向同步,避免门户显示可用而实际无权。
元数据质量需要反馈环:用指标、告警和责任人持续维护元数据的完整、新鲜与正确,可监测能力、产品和域的健康状态。先从少量用途和来源逐步扩展,必要时过滤无关扫描结果,让元数据真正回答管理问题。
原书依据 · 20 处
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
- Democratizing Data with Metadata · 查看原书依据
第10章 Modern Master Data Management
MDM在自治域之间为关键共享实体增加一致性,而不要求把全部企业数据统一。它超越ETL,包含匹配合并、质量、同意、工作流和回写。不同实现风格会改变来源系统被侵入的程度。参考数据负责分类与代码,主数据负责关键实体及标识;策展则可能创造新语境和事实,因此其所有权规则与MDM不同。企业级与局部域级主数据可共存,范围应由实际复用、血缘与业务重要性决定。
主数据范围由共享价值决定:MDM适合稳定、重要且被多个域共同使用的实体与属性。用血缘、契约和模型识别重叠,从小范围迭代匹配规则;把所有数据纳入主数据会重现企业统一模型的协调成本。
MDM不只是数据整合:主数据管理包括质量问题处理、匹配合并、补全、地域、同意、审批和来源回写。ETL提供搬运和转换能力,却不能单独决定谁有权合并记录、如何复核疑似匹配及错误怎样纠正。
合并式MDM只改善下游:consolidation把多源主数据集中清理、整合后供报表与分析消费,不把改进回写源系统。部署影响相对集中,但源头质量和操作业务不会自然得到改善;必须明确谁使用哪一层数据。
注册式MDM保留来源自治:registry维护去重对象及本地标识之间的对应关系,不改动源系统,也不把清理后的内容分发回去。它可低侵入地发现重叠并帮助连接,但不应据此宣称源数据质量已经提升。
集中与共存风格权衡:集中式让共享主库成为操作与分析的重要依赖,要求来源适配统一数据;共存式则让主库和本地系统同时维护并同步改进。共存更贴近现实自治,却需处理双向传播、冲突和及时性。风格可组合,不由某厂商默认配置替代业务选择。
MDM集成需协调时间状态:MDM既消费也提供数据,可用批、API和事件满足不同速度。分析主库与消费者若读取不同时间版本,会产生对不上号的状态;宜共享可追踪的产品来源与版本,并为操作路径验证匹配延迟,不能假定任何接入都实时一致。
参考数据统一必要代码:参考数据用于分类、组织和分组其他数据,如币种、国家和产品代码。可由域映射本地值,也可由中央服务统一校验补全。映射必须说明代码体系和层级,公共参考值不等于统一整个业务模型。
主标识连接本地身份:主标识记录多个来源记录属于同一实体的关系,本地键仍保留以支持追踪。单一系统内自增键未必跨系统唯一,应结合来源命名空间或受控映射;只有参与主数据范围的系统需要采用相应主标识。
确定标识依赖稳定输入:代理键没有业务含义,适合避免本地键冲突;随机GUID重建会改变引用关系。确定性标识可使同一规范输入产生同一结果,但前提是输入和命名空间稳定,不能因哈希相同生成规则就免除实体合并和历史映射管理。
主数据可按域级提供:企业数据供广泛共同用途,域级数据由部分协作域共享,本地数据只服务单域。可将MDM和质量能力作为服务提供,并用目录标明范围与所有者;不是所有质量匹配都需要一个覆盖全企业的集中模型。
策展可能创造新语境:数据策展把多源数据组织得更有价值,可以临时查询、物化或按元数据生成,也可能派生新事实。MDM主要矫正和识别同一实体,应保留来源语境与追踪;不能把新的业务计算包装成“更正确”的原始事实。
一致性也可共享知识代码:可通过词义和关系元数据共享知识,通过集成视图共享查询结果,或共享模板代码供域本地执行。前者依赖消费者解释,视图可能含新逻辑并产生耦合,代码修改又可能使结果分叉,应按需要的控制与自治权衡。
集成枢纽需防来源模糊:策展枢纽能复用清理与加工,但若质量修正在中心停留,源业务得不到改善,责任也可能被新发布层掩盖。应登记来源、版本、规则和血缘,防止枢纽变成跨系统共享业务状态的紧密依赖。
聚合协作有四种取舍:各走各路接受重复以换自治;伙伴关系共同维护逻辑但需协调;客户供应商由一方承担交付并协商优先级;遵从者接受上游模型。选择依据共享程度、集成难度和谈判能力,而非认为共享越多总越好。
主数据治理保留审核轨迹:匹配、合并和清理需共同约定范围、规则、授权、质量和回写,并保存来源及变化历史。匹配规则可能过度或不足,需要可迭代和撤销。主数据权威来自治理和证据,不是因为数据位于某个“Gold”目录。
原书依据 · 15 处
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
- Modern Master Data Management · 查看原书依据
第11章 Turning Data into Value
消费端围绕具体问题整合数据,变化速度和技术需要比通用发布端更多样。本章先区分直接消费与领域数据存储DDS,再讨论边界、数据模型、语义层、自助分析和MLOps。探索成果进入生产需要工程化交接,不能让正式报表或模型依赖个人手工步骤。作者有关ChatGPT无法改变行为的2023表述已过时,此处只保留外部模型同样需要能力边界、偏差与持续观察的原则,不采用产品现状断言。
直接消费避免不必要副本:若读产品已满足性能、安全和轻量转换需求,可查询时直接使用而不持久复制。复杂整合、新事实、重计算或故障隔离可能要求本地存储;选择应明确延迟、恢复和治理成本,不能把所有消费都机械复制。
DDS围绕消费用途组织:领域数据存储DDS承载消费、整合和使用数据所需的服务与数据,可包含ETL、BI和ML能力。它针对具体业务上下文,区别于面向多方稳定发布的数据产品;一个系统可同时是消费DDS与新事实的权威来源。
消费数据分复制整合发布:复制数据保留原语义,整合数据按本地用例形成新情境,拟对外发布的数据则必须再满足产品的稳定与解耦要求。分类帮助保留来源与责任,避免把临时消费表直接变成外部依赖。
DDS边界兼顾业务技术:先按业务能力、语言与重叠要求划范围,再考虑查询、变化速度、安全和性能。相同来源不代表应共用一个DDS;变化节奏冲突时应分离,而共享整合逻辑应保持小且明确,避免形成分布式单体。
消费发布架构可以分开:DDS可与产品发布共用服务,也可采用独立蓝图。共用提高资源复用,却让副本、新事实和公开接口更难辨别;分开更清楚隔离用例变化与发布稳定性,但增加基础设施。需用元模型和边界管理真实依赖。
分析用例先说明业务结果:分析项目应明确业务问题、长期价值、来源、时效、完整性、参与者和成功标准,再选择服务。商业模式画布可帮助连接投入与价值;一次性工具堆积容易带来难维护的接口网络,不能由购买工具代替需求分析。
分析团队明确不同技能:领域负责人协调业务目标,应用负责人负责技术运行,分析师解释需求和使用,工程师维护摄取加工,科学家研究模型,报表构建者设计呈现。小型跨职能团队可兼任角色,但须明确责任与交接,不以岗位名称推断能力。
存储选型围绕读取约束:存储选择需比较数据结构、查询可预测性、连接聚合、历史、读写速度、访问协议、弹性与运维。预期查询可用缓存和预计算,复杂关系可能需要不同模型。SQL或NoSQL的标签不足以决定事务、扩展和性能,应按具体实现验证。
管道分离输入转换输出:把管道组织为可复用、版本化的转换步骤,明确输入、逻辑和输出,有助于复现与并行处理。消费方仍需检验符合本用例的质量、安全与完整性,不能因为上游产品通过验证就取消所有本地检查。
消费血缘保留回指:消费管道应记录源产品、文件或事件、本地键和每步转换,支持追踪新数据怎样形成。工具选择要兼容所需血缘粒度;若只记录最终结果而无法回指输入,就难以解释错误传播及再分发责任。
数据粒度明确一行含义:粒度规定表的一条记录代表什么,例如每商品一行或每商品每日一行。组合前核对粒度可避免把不同层次直接连接造成重复计算;字段名字相同不能代替键与粒度验证。
语义层封装消费规则:语义层用业务术语呈现数据,预定义关系、计算与格式,降低用户误连接和重复解释。可缓存数据以换性能,或把查询下推以减刷新延迟;额外层仍有成本、模型耦合和权限要求,简单稳定报表未必需要。
发现与探索范围不同:数据发现包括寻找可用来源并识别潜在模式,探索则深入观察某份数据的结构、关系与分布。二者支持提出和检验假设,但探索性结果还需质量与复现验证,不能立即升级为正式决策服务。
自助数据与生产有交接门槛:自助环境用于临时探索,正式托管数据要求稳定、自动化、标准和治理。探索输出可在临时工作区标记未认证;进入生产要由工程化管道重新实现并验证,避免生产依赖个人手工操作或本地文件。
MLOps管理完整模型周期:MLOps协调业务、科学、工程与运维,覆盖采集、准备、训练、验证、部署、监测和解释。模型效果依赖数据和环境变化,不能只测试算法代码;重训练频率和自动部署仍应按风险与证据决定,而非持续盲目替换。
模型实验保存可复现证据:每次实验记录输入版本、参数、算法、指标、环境和制品,支持比较与重现。项目起步先定义成功标准、伦理边界和来源;只有离线指标而无完整运行条件,无法可靠判断改进来自模型还是数据差异。
模型服务有批流API三型:模型可以在线API响应、批量输入输出或随事件流处理。选择取决于业务时效、吞吐、成本与集成,不能只按模型训练工具决定。生产部署需要同时定义超时、失败和输出责任。
特征存储复用加工语义:特征是供模型使用的变量,特征存储管理定义、持久化与供应,避免多个项目重复计算昂贵特征。共享需考虑时间语义、训练推理一致性、敏感数据和版本责任;不能因为复用有益就强制所有特征都集中。
模型生产化补工程控制:生产化需参数化配置和凭据、自动验证数据和模型、测试推理接口、记录指标、评估偏差并采用适当的影子或A/B验证。运行平台尽量不持有长期业务状态,数据留在明确存储中,便于替换模型与回滚。
工作区粒度影响隔离复用:按团队设置工作区便于共享制品和结果,按项目设置则更易分离成本与安全条件,但增加管理并使发现更分散。工作区、代码模板与部署实例应明确映射,公共蓝图和项目定制分别版本管理。
原书依据 · 20 处
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
- Turning Data into Value · 查看原书依据
第12章 Putting Theory into Practice
最后一章把全书连接为渐进旅程:先用小用例证明产品责任和数据价值,再补全领域地图、蓝图和自动化,最后移交自助能力并深化主数据、消费与织网。三个阶段是参考路径,不是每个组织必须按同一成熟度阶梯前进。中央和域的比例需随技能、风险与实际流量校准;文化、数据素养与架构领导贯穿整个过程。
首个用例兼顾小与全局:先选价值明确、复杂度可控且团队愿意合作的用例,以少量来源学习产品开发。保留整体能力地图与战略方向,却不必先穷尽所有细节;试点还应展示业务结果,争取持续授权和投入。
集中起步保留分权出口:成熟度低时先用集中标准与工程支持降低复杂性,同时明确哪些能力未来交给域、哪些保持中央控制。设计应保留松耦合边界,避免“暂时集中”变成无法拆开的永久组织依赖。
机会阶段学习交付责任:初期用一个数据落地区和管理落地区承载必要摄取、转换、存储与目录能力,由中央和域共同完成第一组产品。手工步骤可以暂存,但应标记质量、血缘和访问缺口,并在新增消费者前改善不稳定接口。
转型阶段把重复变标准:有了用例和领域全貌后,逐步用参数化管道、公共质量检查、日志与蓝图替代一次性脚本。中央提供服务,域维护配置和数据责任;先保证来源交付稳定,再放大消费,避免多个团队反复修同类问题。
历史迁移需单独补缺:新架构只从上线时开始积累历史时,可从旧仓库提取必要历史并以遗留产品受控发布,再与新交付衔接。需要核对字段、粒度、重复和语义变化,不能把复制旧文件等同于完成历史一致性。
优化阶段移交自助能力:在基础成熟后,开放自助注册、订阅、元数据维护和基础设施供应,逐步增加消费蓝图、安全、主数据与多个输出。每新增服务先验证需求和治理,不以平台功能数量代替域团队真正能独立工作。
双编排分别管理数据软件:数据管道负责摄取、验证、转换、状态记录和通知,CI/CD管道负责测试并发布代码、模式与基础设施版本。二者连接但职责不同;将一次数据任务成功误当成发布可复现,会遗漏配置与部署风险。
数据流水线保留状态通知:数据到达后校验来源、复制、更新模式、运行质量和转换,最后更新观察记录并告知消费者。通用日志与通知可标准化,领域转换仍本地管理;失败也要记录并通知,不能只在成功时更新目录。
发布隔离依赖制品版本:开发、测试和生产应隔离配置和权限,通过评审、自动测试与受控提升发布版本。书中多长期分支是一种示例,重点是可重现制品和环境映射;可按需创建临时测试环境并在完成后清理。
治理素养伴随工程能力:DataOps要求版本、测试、运行监测、反馈与模板复用,业务人员则需理解所有权、分类和用途。中央团队同时提供训练和支持;仅安装自动化工具而没有职责与学习,难以形成持续的产品文化。
架构表达应连接实时元数据:架构模型和图可从不断更新的元模型、应用登记、成本与血缘生成,减少静态文档过期。架构师仍需解释业务目标、组织设计和取舍,并用设计讨论指导团队,不能把图自动生成当作自动完成架构决策。
原书依据 · 11 处
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
- Putting Theory into Practice · 查看原书依据
跨章综合
这本书的核心是把“哪里有数据”变成“谁对什么事实负责、通过什么边界交付、怎样在另一种用途下使用”。领域划分给责任定位,产品/API/事件给交换建契约,平台蓝图减少重复劳动,治理与元数据让不同实现保持可解释。主数据补足跨域关键实体的一致性,DDS则保护具体用例的变化自由。
集中与分权是多个维度的选择:数据所有权、基础设施、规则和执行未必同时集中或同时分散。把这些维度分别决策,才能理解共享平台为何也能支持域自治,以及完全联邦为何仍依赖共同标准。技术只提供条件,实际可用性由职责、质量反馈、运维与业务采用共同形成。
数据管理还存在两类生命周期:发布者维护稳定事实及接口,消费者为特定问题创造结果。消费者要再次发布,就需要重新承担产品责任并保留血缘。元数据连接这两个循环,使权限、来源、变化和价值都能被观察。
发散与实践
读者延伸,以下交付为计划与首轮公开资料映射,未运行实验、未干预现实系统。优先深读Kafka事务边界(ideas/idea-001-Kafka事务边界深读.md),再用数据契约最小清单(ideas/idea-002-数据契约最小清单.md)把阅读资料库的真实输入、责任与消费要求列清楚。实现深读已核验4.2.0官方源码入口,后续详细阅读与故障试验尚未执行。