来源书籍

Data Management at Scale

Skill 版本:v23 239 张卡片

Piethein Strengholt · O’Reilly Media · 2023-04 · Second Edition · ISBN 9781098138868

全书导读

企业的数据分散在应用、团队与供应商之间。规模化数据管理要处理数据含义、责任与交换接口,而不只是选一个储存平台。本书以大型企业为背景,讨论如何让本地团队承担业务责任,同时利用公共标准、平台和元数据保持整体可理解、可控制。作者反对把mesh、fabric或集中化当成无条件答案。

全书主线

数据网格把数据所有权与产品责任交给业务域;数据织网以统一元数据和自动化降低跨域发现、集成与访问的成本。两者可以互补。先确定业务战略与领域边界,再决定平台拓扑,然后用数据产品、API和事件连接生产消费两端;治理、安全、元数据与主数据贯穿这些连接,最终由消费用例检验价值。

第foreword01章 推荐序

推荐序以LinkedIn持续产生的数据与传统日终批处理之间的矛盾说明:用户期望跨渠道实时一致的体验,但企业内部由许多软件、人员和数据存储构成。Kafka的出现既涉及消息、存储和处理技术,也要求组织具备管理跨应用数据流的技能。这是全书的动机,后续事件章将展开机制。

第preface01章 前言

本书第二版基于大型企业经验,对过度简化的数据网格实践提出边界:细粒度微服务示例不足以指导大型遗留企业的领域划分;经营、风险和会计需要跨域一致性;数据产品不能机械等同于一个容器;分析数据也不能脱离操作数据与主数据。全书会从业务全貌逐步下降到领域、平台和交换接口,再回到消费价值。术语mesh和fabric的实质解释归入第1章卡;这些前言论证在本段保留。

第01章 The Journey to Becoming Data-Driven

本章先解释数字化、分析、云与软件交付为何增加数据分布,再以集中数仓和数据湖说明规模瓶颈往往来自责任与协作方式。数据管理覆盖整个生命周期;不同职能需要协同而不能用单一平台替代。最后把架构选择放回业务战略:防御与创新的权重、人才、治理、预算和迁移路线共同决定集中与分权的程度。作者关于“分权必然”“数据总要转换”的措辞很强,本笔记把它们限定为大型异构企业的设计警示,避免当成普遍定律。

网格与织网互补:数据网格侧重社会技术组织:由业务域承担数据所有权和交付责任,以公共平台支持自治。数据织网侧重技术联通:用统一元数据帮助发现、集成、供应和使用分散数据。二者回答不同层面的问题,可以组合;购买一套工具并不能自动建立业务责任。

数据管理覆盖生命周期:数据管理是一组让数据资产在创建、使用、分发、保护和退出期间可控且有价值的计划、政策、程序和实践。它包含治理、架构、建模、存储、集成、安全、内容、主数据、分析、元数据与质量等职能;单建分析平台不能替代其余责任。

治理分配数据权责:数据治理规定谁有权决定数据怎样管理,并监督这些规则落实。对象包括数据及相应资产。治理不只是技术审批:若责任与权力未明确,质量、安全和跨域使用的争议就缺少裁决依据。

架构连接数据全貌:数据架构是关于数据的总体设计蓝图,包含未来状态、参考架构与依赖关系,帮助组织协调长期决策。它区别于单个系统内部的数据模型:前者处理全局关系,后者表达特定情境中的结构。

建模保留业务情境:数据建模与设计把特定业务情境的要求表达为系统可以使用的结构。概念、逻辑与物理设计会逐步引入应用选择,因此同名字段未必具有相同含义。跨应用集成要先核对语义和粒度,再判断是否需要转换,不能只按名称拼接。

存储运维支撑数据价值:数据存储与运维包括数据库设计、实现、支持和日常运行管理。把数据存下来只是起点:必须保证数据库能持续服务使用者;这项责任与业务分析相邻,但不能由分析报告的存在代替。

安全贯穿访问与追责:数据安全不仅验证身份与授予权限,也包括预防、审计以及事故升级和缓解。数据复制到多个环境后,原存储上的权限不能自然保护所有副本,必须追踪分发及实际使用。

集成与互操作有别:数据集成把多源数据整理为统一视图;互操作性让不同应用以较少内部知识交换数据或调用能力。前者追求在特定用途下的内容组合,后者追求交换边界可用。相同格式只解决部分互操作问题,不保证业务语义已经统一。

内容管理处理非结构数据:文档与内容管理负责媒体、文档等非结构化内容的组织与生命周期。它与表格数据管理共享安全和治理要求,但对象不一定具有预先固定的行列结构,不能只用数据库表的思路描述所有资产。

主数据维护关键实体:参考与主数据管理维护业务关键数据,使其可访问、准确、安全、透明和可信。它关注跨用途反复使用的实体与分类,区别于一次报表的局部清洗;后续主数据章进一步解释跨域一致性的限度。

分析管理服务决策:数据仓储与商业智能管理组织支持业务洞察和决策的活动。其产出服务于具体消费问题,价值取决于质量和语境;不能因为所有数据进入仓库,就推断整个企业已经形成可靠决策。

元数据让数据可理解:元数据是描述和分类数据的数据,可说明含义、结构、来源与管理要求。管理这些描述能够支持集成、安全和质量。元数据本身也分散在不同工具中,因此需要互操作和治理,不能只建一个名称目录。

质量以可用性为准:数据质量管理的目标是让数据足以服务使用目的。它与来源责任、语义和处理流程相关,不能只靠中央团队在入仓前不断打补丁;否则修正逻辑可能脱离可追踪的责任与血缘。

分析增加分布与读取:不同分析问题需要不同特征和数据表示,因而会产生更多副本、转换与读取负载。数据增殖让来源、质量和进一步分发更难跟踪;读密集工作又可能迫使业务系统提供独立副本。设计必须同时考虑消费自由和控制。

DevOps改变数据边界:DevOps把开发与运维协作起来,支持持续交付。应用拆为小服务后,原来一个库内的关系可能跨网络分散,带来同步、完整性与一致性难题。软件交付自治需要配套的数据互操作和责任安排,不能把拆服务当成纯代码调整。

操作分析需要反馈闭环:操作分析利用分析结果预测或改进正在运行的业务过程,再把洞察送回操作系统。生产端与分析端的速度和负载不同,必须通过适合的交换方式连接;简单维持两套完全隔离的数据战略会阻碍结果回流。

集中数仓的耦合代价:企业数据仓库把多源历史数据清洗、整合成共享的稳定表示,适合可协调的分析用途。但当大量消费应用共用模型与中央团队时,变更需要排队和协调,统一语义也可能抹掉原业务上下文。风险来自规模与耦合程度,而非数仓一概无用。

数据湖推迟结构选择:数据湖先保存多种格式的数据,再由读取者决定结构和加工。相较预先固定模型的数仓,它给探索更多自由;代价是消费者可能重复清洗、转换和解释原始应用结构,且直接依赖源表会受到上游改动影响。

大泥球累积变更依赖:大泥球指结构混乱且高度耦合的系统,局部变更难以预测地影响其他部分。数仓中的脚本、表、视图与调度互相交织时也可能出现这种现象。绕过规范的快速交付会积累未来返工,不能只按眼前完成速度衡量收益。

分权需要中央护栏:分权把部分责任交给业务团队,中央仍需提供标准、边界、公共能力和专家支持。若每域自定元数据、建模和交换标准,数据就难以组合。应分别决定哪些权责和基础设施集中,哪些自治,而不是把所有维度一起推向极端。

数据战略从业务出发:数据战略把业务目标连接到数据用例、可衡量里程碑、人才、文化、预算、架构与治理。先确定控制和创新的权重,再决定技术与迁移路径;不同企业的目标与成熟度不同,不应复制同一分权比例。可用可量化结果检验战略,而非以平台上线代替成功。

原书依据 · 21 处

第02章 Organizing Data Using Data Domains

本章从应用的数据语境与权威来源出发,用微服务和服务网格说明边界与解耦的作用,再把DDD扩展到企业业务架构。业务能力描述企业做什么,能力实例描述某一情境下如何实现;二者不能混为同一粒度。共享套件会使应用所有权与数据所有权分离,因此领域划分必须结合现实,而非把一个微服务等同于一个域。最后给出提供者接口、数据管道、元数据与迁移的责任原则。原文称点对点连接产生“指数复杂度”,但其完全图例子n(n−1)/2实际是二次增长;此处明确纠正,保留管理依赖数量的警示。

权威来源定位责任:黄金来源是特定业务语境中管理原始真实数据的权威应用。应从它直接捕获唯一事实,并在其处修正质量问题,避免副本各自补丁。权威性需要按实体、属性和语境核实,不能因为某库拥有副本就授予它原始事实所有权。

提供消费是关系角色:同一应用在不同交换关系中可以既提供又消费数据。提供者负责稳定、清晰的交付,消费者负责把数据解释到自身用途。外部伙伴也可担任两种角色;若无法遵守共同契约,需要增加适当的适配边界。

微服务独立交付的代价:微服务将应用拆为独立运行、管理数据并可单独发布的组件,便于按组件扩展和选择语言。数量增加也会扩大网络依赖与失败传播;只有组件变小,而边界和通信仍混乱时,系统并不会自动更易维护。

服务网格管理通信:服务网格把服务间通信的共用逻辑移到代理层,集中提供监测、发现、策略和安全等能力。它帮助治理通信依赖,但不替业务定义数据含义。异步交换还可由事件代理承担,应按交互风格选择或组合。

限界上下文划解法边界:限界上下文界定模型与语言适用的解法范围,让高内聚部分在边界内协同,跨界依赖通过明确接口协调。领域是待解决的问题空间,上下文是实现模型的边界,两者不天然一一对应;讨论时必须明确所取视角。

子域区分竞争投入:核心子域支撑差异化竞争能力;通用子域处理可由通用产品解决的问题;支撑子域虽非竞争优势却是运行所需。分类帮助分配投入和采购决策,不表示非核心能力可以忽略质量与责任。

通用语言有适用范围:通用语言是业务人员与开发者在同一上下文共同使用的严格词汇。它使模型和沟通一致,但不要求全企业只有一套定义。上下文改变时语言也可能变化,跨域应显式映射不同含义。

业务能力描述做什么:业务能力表示企业为达到某种结果所需的能力,抽象封装人员、流程、信息和技术。它描述做什么而非具体怎样做,因而比某个系统或组织架构稳定。能力映射应使用业务语言,避免把应用清单直接改名为能力图。

价值流连接能力与价值:价值流是一组向客户交付产品、服务或体验的动作。一个步骤需要多个能力,一个能力也可支持多个价值流;将二者映射,才能看出共享投入和业务结果的关系,而非把能力孤立成技术模块。

能力地图提供全貌:能力地图分层表达企业所做之事,并将其关联到战略指标、流程、应用和数据。建模目标是避免重复、遗漏和含混重叠;可先画粗粒度全貌,再逐步增加细节,结合自顶向下与自底向上的发现。

能力与实现一对多:同一业务能力可能在不同地区或业务线实现多次,各自采用不同应用、流程与团队。能力实例属于解决方案空间,不能因能力名称相同就假定系统、语义和所有权完全一致。

应用与组件视角互补:应用是实现业务需求的逻辑边界,可以跨物理环境;应用组件是容器、JAR等具体可部署制品。应用层连接能力、负责人和团队,组件层连接版本、配置和维护。先说清视角,才能避免用部署单元替代业务边界。

共享能力分离两类所有权:共享客户管理系统可服务多个业务域,应用负责人管理技术、管道和组件,数据负责人分别管理各自数据的含义与使用责任。可通过多个产品或产品内的所有权标记划分数据,不能因共用数据库就强行合并所有业务责任。

域按数据角色协作:源系统对齐域从权威来源发布数据;消费对齐域为终端用例转换数据。聚合域组合多个来源再提供共享数据,构造域进一步创造预测等新事实。域角色可混合,发布权限和新事实所有权仍需明晰。

领域聚合不等于汇总:领域聚合把可作为一个单位使用的对象集合封装起来,简化消费。数据汇总则把多条明细按某维度压缩为统计结果。两者名称相近但会对粒度和信息损失产生不同影响。

标准出口约束跨域依赖:公共车道模式要求域内允许紧密协作,跨域数据通过正式且可治理的接口交付。大量读取可使用数据产品,强一致读取或命令可使用API。标准出口不是让所有流量经过一个中央数据中转库。

所有权跟随新增事实:语义和事实未变的过滤、字段改名等语法转换,不自动产生新的数据所有权。组合数据若产生新业务事实,则需要相应责任归属;转发他域原有事实应取得授权,避免消费副本冒充权威来源。

提供者隐藏应用细节:跨域交付应过滤无用技术字段,隐藏内部实现与过度规范化结构,提供可理解、适合读取的逻辑表示。提供者使用自身领域语言,不能把每个消费者的业务逻辑塞进源系统;成熟生产接口需保持稳定与跨渠道一致。

通用平台保持域无关:公共数据服务应提供跨域可复用的技术能力,而把领域规则留在相应上下文。把业务逻辑隐藏在通用集成层,会让消费者无法理解依赖并阻碍域独立变更。

域责任覆盖交付全链:域所有权包括摄取、清理、转换管道、数据质量与服务约定,也包括模式、版本、业务术语、血缘、安全元数据和访问审查。把数据放入共享存储后交给中央团队修理,并未完成产品责任转移。

迁移先建立当前地图:迁移到领域数据管理前,先统一应用、组件、能力和域的词义,列出权威来源、负责人、共享系统与消费依赖。再决定边界和标准,分步实施并校正组织协作。没有当前状态的证据,就无法可靠安排未来状态的路径。

原书依据 · 21 处

第03章 Mapping Domains to a Technology Architecture

本章区分问题空间的领域拓扑与解决空间的落地区拓扑。领域责任并不强制一个域一套独立基础设施;不同拓扑是在控制、成本、自治与工程能力之间取舍。落地区把经批准的服务、网络和策略编码为可重复环境,管理落地区负责跨域监督,数据落地区承载工作负载。航空公司案例按地域分布并共享存储,说明域、地区和平台是不同坐标。拓扑可混合和渐进演化,不必一次追求终局。关于连接数量的“指数”措辞沿用第2章纠正:完全两两连接的数量通常是二次增长。

完全联邦拓扑的前提:完全联邦拓扑让细粒度域端到端负责数据产品并直接交换,以自助平台和自动治理维持共同规则。它减少中央协调,但要求标准、工程人才、网络治理与跨域一致性能力;不能把组织自治理解为每域随意选择所有标准。

受治理拓扑集中分发:受治理域拓扑保留域的数据所有权,将跨域分发集中在共享逻辑实体。数据交付一次可供多方读取,便于审计、控制和共用算力;代价是中央分发能力可能成为瓶颈,多云环境也更难无缝连接。

部分联邦缓解能力缺口:当源域缺少工程技能或遗留系统难以取数时,可由中央团队协助摄取并虚拟对齐源域责任,同时给消费域较高自治。它是现实过渡方案,但两端运行模型与发布规则可能不一致,需要明确谁负责数据与管道。

价值链拓扑放大边界:价值链拓扑把为同一端到端价值共同工作的域组成较大协作单元。内部可采用较宽松规则,跨链必须遵守公共标准。它适合操作与分析往返紧密的业务,但共享能力和含混边界需要额外架构协调。

粗粒度域有孤岛风险:按地区或事业部形成的大域可包含许多应用,容易保留自主权,也可能重复建设质量、主数据和平台能力。若跨域产品仍经中间孤岛转发,来源与所有权会模糊;应明确能力边界、元数据和交换标准,再逐步细化。

共享模型混合用途有风险:把通用对外数据和特定用例的复杂加工塞进一个大型域数仓,会让只关心单一来源的消费者也受其他用例变更影响。原始数据与高度统一数据之间,还可能缺少保留源业务语境的可消费层。应分清发布责任与消费加工。

集中平台可保持域责任:集中域拓扑让多个域共享一个平台实例,用存储分区与权限隔离各自数据,同时保留域所有权、自助服务和产品思维。共享基础设施便于一致性与成本控制;它不等于中央团队必须承包所有业务含义与质量责任。

拓扑应匹配成熟度:拓扑可以混合,也会随组织演化而改变。选择需考虑域自治、合规、成本、共享数据、工程人才与现有架构,不能把完全分权作为唯一先进终点。可以从简化的集中部署开始,但需留下后续分解的边界。

落地区是可重复环境:落地区用标准构件和代码自动创建预配置环境,包含网络、存储、计算、安全、日志与治理。蓝图给域提供一致起点,再以配置适配需要;它不规定必须采用数仓、湖、网格或织网中的某一种架构。

管理区与负载区分责:数据管理落地区承载域无关的监督能力,如目录、血缘、API目录、主数据与安全监测。数据落地区承载域工作负载和分析服务。区分二者有助于扩展与共享治理,不能因同在一个云账户就混淆管理与业务责任。

单落地区以标准换简单:单数据落地区适合起步、单区域或需要较强一致标准的环境。域可用资源组和数据分区隔离;增加域并不必立即增加账户。团队若有冲突的安全、发布或地域要求,则需要重新考虑分区层级。

共享服务下沉隔离层:多个域共用计算或存储可减少重复成本,但安全、配额和隔离必须在服务内部实现。每域独立实例有更灵活的配置和可预测性能;共享实例会产生资源争用与配置耦合,不能只比较基础设施数量。

数据产品存储有两种边界:每域独立存储实例可独立控制层次、安全和配额;共用实例再按容器或目录分区,则便于统一契约授权和靠近数据处理。可组合使用,选择取决于治理、性能、成本与生命周期,而非把目录结构当作所有权本身。

源消费落地区分工:摄取侧经常需要遗留连接器、CDC和源专属集成服务,消费侧更关注报表与机器学习。分别提供落地区可以隔离这些差异;同一个域若兼有生产与消费职责,可以映射两侧,不能按部署位置推断域角色。

枢纽区集中交换:枢纽落地区作为跨区数据分发与连接点,可以让产品复制一次后多方消费,并统一观察跨域移动。其内部仍应按域隔离而非把所有数据整合成一个模型;也可用虚拟化暴露产品,但要考虑中心依赖。

多落地区隔离差异:多落地区可按地域、安全、生命周期、创新速度、成本核算或容量限制隔离负载。每新增区也增加账户、策略、网络和配置成本;多个管理区更需有明确的独立治理要求。不能仅因团队多就无限复制环境。

蓝图演进需要反馈:落地区蓝图应存于公共可见的代码仓库,由平台团队监督并接受域反馈。先用有限试点验证价值,逐步增加服务与自动化;保持核心标准简洁并说明开箱能力,避免在初期堆积大量定制。

湖仓组合两类能力:数据湖仓试图在数据湖的灵活格式、成本和扩展基础上,增加数仓的数据管理与事务能力,以同时服务分析与机器学习。它是技术架构组合,不会自动解决域所有权、业务语义和治理协作。

原书依据 · 18 处

第04章 Data Product Management

本章把产品思维、逻辑数据产品与交付架构分开:同一语义可以有多个物理表示,不必把数据、代码、基础设施和所有元数据封装成一个部署容器。CQRS启发用独立读取表示保护操作系统;真正的消费友好还依赖模型、历史、质量、版本和安全。提供者应发布稳定的领域事实,消费者保留自身业务规则。后半章用湖仓分层展示摄取、清理、历史化、读优化与目录发布,明确示例简化了安全等生产细节。

数据产品先统一含义:“数据作为产品”是一种责任与客户体验思维;“数据产品”则需组织明确其架构含义。本书采用逻辑实体定义,描述可消费数据、所有者、业务语义与物理位置关系。仪表板、模型和可部署容器也常被称产品,讨论前必须先统一词义。

语义与物理表示分离:同样含义的数据可以同时存在于不同格式与位置。把逻辑产品关联到这些物理资产,可统一所有权、分类和业务定义,避免复制数据时复制出彼此冲突的责任元数据。数据元素是连接业务词义和物理字段的原子信息单位。

CQRS分开命令查询:CQRS把修改状态的命令模型与读取状态的查询模型分开,二者可采用不同表示和扩展策略,并通过变更传播保持同步。读模型适合密集消费,写端保留事务约束;同步机制增加复杂性与可见延迟,不能默认查询立即看到刚写入的状态。

物化视图预计算读取:物化视图存储预计算查询结果,以额外存储与刷新工作换取读取效率。它与CQRS共享为读取维护单独表示的思想,但可能仍与源表位于同一数据库;不能因此假定已经获得独立故障边界。

资源模型降低消费成本:按业务资源及同类对象集合组织数据,预先进行必要的反规范化和计算,可减少消费者反复理解内部表与执行复杂连接。粒度、键和跨产品引用必须一致;读优化并不表示丢掉所有明细或任意汇总。

DataVault并非通用出口:Data Vault通过hub、link和satellite等结构适应数仓变化,但消费者需理解额外模型并连接多表。它可作为内部建模方式,却未必适合作为直接跨域发布的读友好接口;是否使用应区分内部维护与外部消费需求。

发布数据只读可重建:数据产品对消费者只读,事实修正回到权威来源,再通过受控流程重建或重发。这里的不可变强调不允许消费者各自在共享事实中改出不同真相;不表示数据永远不能因纠错、删除要求或版本演化而经过治理更新。

原始接口需标明边界:原始应用表把内部复杂性和变更风险交给每位消费者。正式产品应隐藏技术细节并经过质量处理;探索阶段若开放原始接口,应标记临时、私有且无生产保证,避免未经约定成为长期生产依赖。

消费者逻辑留在消费域:通用数据产品应发布本域事实,不能为每个消费者嵌入专属算法。会计规则若分散到众多源域,每次修改都需要跨域同步;由会计域消费足够的源事实再计算,可减少协调并保留其他用途。

缺失值需要明确语义:没有统一规则时,缺失生日可能被人工填入看似真实的日期,使消费者误判质量。应明确定义缺失、默认和数据类型;书中9999-12-31是可识别哨兵的例子,并非通用推荐,选值还要考虑实际类型范围与下游约定。

原子属性便于治理映射:原子属性表达在当前模型中不可再有意义分解的业务信息,并尽可能与业务元素一对一关联。将姓名多个部分硬拼成一个字段,会迫使消费者拆解,也让敏感分类难以精确继承。原子性需结合业务语义判断。

兼容需要迁移窗口:产品与源系统解耦需要检测模式漂移、版本约定和兼容边界。破坏性变更可暂时并行运行新旧管道,让消费者迁移;历史数据的重映射、默认和清理也属于版本迁移成本,不能只更新当前模式。

参考值抽象按变化速度:若源端细分类别变化快,可发布较稳定的上层参考值;若消费者变化快,消费者应维护本地映射。抽象可降低变化传播,但不等于强制所有域采用一个完整企业模型;公共代码和主标识只解决必要的一致性。

跨产品关系需要描述:域产品独立发布后,消费者仍需知道哪些键可以连接、引用什么实体。目录或知识图谱可记录这些关系和连接键,但不应以跨域预整合掩盖原有所有权。关系描述是可组合性的前提,而非企业只有一种语言。

新产品应隔离消费实现:用例计算产生新业务事实后,再对外提供时应建立稳定抽象并承担新所有权。直接把临时消费表暴露给其他域,会把它们绑定到当前用例实现。应发布处理血缘与转换过程,保留可追踪性。

产品架构提供通用能力:产品架构需覆盖输入摄取、输出供应、元数据、工程运行、质量与主数据以及市场发现。多个逻辑产品可共享架构,但域之间应隔离管道和责任。平台服务复用不应演变为所有业务逻辑集中处理。

批流摄取按约束选择:批处理一次转移大批数据,适合周期需求、复杂查询和完整性核对;实时摄取用事件或API获得增量,适合低延迟需求。实时并不自动解决全量完整性与重建,二者可以并存。对账可用记录数、校验和或分片比较等方式交叉检查。

复杂源需要适配服务:遗留包和SaaS可能有复杂模式、封闭接口、限流或按调用计费。专用连接器与缓存摄取可隐藏源复杂性、降低重复调用,但必须核对全量获取与刷新能力;逐步缓存请求不能无条件证明已经覆盖完整数据。

血缘兼容应提前验证:摄取与转换工具需要把提取、处理和输出关系送入血缘仓库。工具选择时就要验证扫描器和元数据能否联通;事后补血缘会受既有转换框架限制,不能只凭支持某数据库就假定端到端可追踪。

质量检查分两条防线:摄取完整性检查验证数据是否符合公布模式,由源域负责;联邦功能检查关注跨域完整、准确、一致和合理性。它们可异步运行并反馈负责人。统一指标有助于比较,各域自建互不兼容框架会损害整体控制。

质量控制形成反馈环:当质量低于阈值时,可隔离数据并要求负责人确认、撤回或重发。持续监测与源头修正构成闭环;若只在产品平台永久补丁,源问题仍会传播至其他位置,质量责任也被转移。

快照历史易重发难查询:按时间分区保留整批快照,实施简单并便于重新提交错误批次。若缺乏有效期字段,消费者比较多年变化需要反复扫描并计算差异。较低存储成本不能抵消所有查询、纠错与删除成本。

区间历史减少重复:SCD类型2通过比较新旧数据,为版本打开开始时间并关闭旧版本结束时间,便于按时间查询。它减少重复完整快照,但需要检测变化、处理重发与有效期;非业务字段应排除比较,避免制造无意义历史。

追加历史保留变更序列:追加模式只把新或变化记录加到既有集合,适合交易和事件记录,常与CDC组合。它不同于覆盖当前值;消费方若需要当前状态,还必须解释顺序、删除与有效性,而非把每行都当作独立新业务事实。

历史策略可以组合:主数据可维护区间版本,参考数据可保存快照,交易可追加,同时保留原交付以支持重发。还可提供按范围、属性和时间间隔生成历史视图的服务。选择需考虑数据类型、消费要求与治理,不能一律要求所有数据采用同一形式。

虚拟化不能替代历史管理:虚拟访问可统一入口并减少副本,但仅靠源系统在线查询难以承担历史归档、源模式解耦、不同输出格式和重负载。网络或源系统故障也会传播。可虚拟化访问已加工产品,不应默认虚拟引擎包办产品整个生命周期。

湖仓分层区分加工责任:Bronze保留源交付用于重放与调试,Silver执行清理、校验和历史处理,Gold形成读友好资源模型。分层名称只是案例约定,关键是明确每层输入、变化与输出责任;厂商格式、默认历史天数需按部署版本另核验。

管道粒度避免重复处理:为每个细小产品分别建立管道,可能重复读取同一源、造成运行间隔不一致并破坏可组合的时间状态。可按完整应用状态组织共享处理,再生成多个清晰产品;粒度应依据依赖和完整性,不能机械地一产品一管道。

多输出保持同一语义:同一逻辑产品可用文件、关系、列式、文档或图等输出满足读取模式,但所有输出仍由同域负责并遵守相同语义与治理。数据库选型需要衡量查询、容量、延迟和一致性;无模式或NoSQL本身不等于不支持事务。

脱敏位置改变保护方式:保护可在读取时动态过滤,也可在入产品前标记化,或为项目复制受控脱敏版本。运行时保护不改原存储,但所有入口都必须受策略约束;导出文件也应执行契约、列与行规则,不能成为绕行通道。

编排支持域独立运行:域管道需要测试、发布、监测与调度能力,平台提供共用日志和端到端观察。跨源时间与依赖协调可由通用框架支持,但不能把所有域变成必须同步发布的一条中央管道。

是否复制由消费约束决定:直接读取减少副本,但新事实、低延迟、重查询预计算或故障隔离可能需要本地复制。副本应受架构与数据契约管理,记录使用、清理和再分发,不能以本地性能为由失去来源和生命周期控制。

产品价值需要持续度量:产品团队需要资金、角色和运行手册持续改善质量,公共治理组织维护共用标准。可观测消费者数、质量问题、满意度和启用用例等指标;产品发布数量不等于实际业务价值,创建产品和消费创造价值应分别管理。

原书依据 · 33 处

第05章 Services and API Management

本章将数据发布原则扩展到操作接口:API暴露业务能力并连接实时分析与事务系统,仍应围绕业务域、契约和产品责任设计。传统ESB在路由和适配之外累积中央业务逻辑、共享模型和状态时,会重现数仓的耦合。现代方案把逻辑归还领域,网关处理通信治理,目录保存全局发现信息;对外与面向体验的接口则按各自信任边界与客户需求增加适配。原书把SOAP与JSON并列成协议、把JSON当作SOAP替代品,层次并不一致:本笔记区分协议、数据格式与架构风格;函数慢必因廉价剩余算力和CQRS是唯一方法等强断言也不作通用结论。

API连接实时能力:API是应用或组件间访问数据与业务能力的接口。同步请求响应让调用者等待结果,适合需要当下判断的小规模交互;API也可只接受请求并异步处理。数据产品副本通常有传播延迟,因此强一致需求应明确由哪一权威服务满足。

SOA以服务隐藏实现:面向服务架构通过明确服务接口暴露业务功能与数据,隐藏内部应用实现并促进独立演化。它既可连接操作系统,也可调用实时分析能力;不是购买ESB的同义词。是否真正解耦取决于契约和依赖,而非使用HTTP这一点。

REST围绕资源表示:REST把重要业务对象抽象为有标识的资源,通过统一接口操作其表示。资源可以组合合同、客户和关系,并不等同于一行数据库记录。GET通常读取,PUT替换、PATCH局部修改、DELETE删除;POST处理请求语义不应只理解为数据库插入。

ESB承担集成中介:企业服务总线可路由消息、转换格式、适配旧系统、处理兼容与组合调用。它能减少底层协议差异,却也可能因集中业务规则和多层包装而变成庞大耦合点。应区分必要的技术适配与本应属于域的决策逻辑。

服务描述区分接口与模式:WSDL描述服务操作、位置和传输等接口信息,XSD描述XML文档结构及校验规则,服务仓库保存可用性、版本和政策信息。三者提供不同层次的协作资料;有文档不代表业务含义与兼容性已经达成一致。

聚合编排有责任边界:服务聚合把多个接口组合成一个入口,编排则决定调用次序和结果组合。中央编排便于复用,却增加中心性能与故障依赖,还可能模糊底层责任;消费域编排更贴近自身业务逻辑,但会承担重复实现成本。

BPM保留流程状态:业务流程管理适合跨应用、可中断、可能等待人工的长流程,记录任务、规则、状态与等待关系。客户、合同等业务实体仍应由相应应用管理,不能把流程引擎当成共享业务数据库。短小域内流程也未必需要独立BPM平台。

协同分散流程决策:服务协同让参与者观察变化并自主行动,没有一个组件控制全部步骤。它减少中央编排,但整体流程和责任更难观察;协同、聚合与编排可以混合,需要登记依赖并明确谁负责局部结果。

公共私有接口职责不同:公共业务接口提供对外可理解的功能,私有技术接口服务内部实现,可能直接暴露表或技术操作。内部接口可以变化更快;跨域发布则需稳定、登记与契约。这里的公共不一定指任何互联网用户都可访问。

服务模型与规范模型有别:服务模型描述特定接口的数据、属性、关系与使用方式;规范模型试图把多个接口统一到同一语言。企业级统一若吸收所有域的特殊要求,容易形成大量可选字段与协调成本,应把统一范围限制在实际需要。

总线不宜承担业务状态:如果ESB保存多个应用的业务状态,应用变更必须协调共享结构,中心故障也会影响多个流程。技术中介宜仅保留必要会话与缓存;业务实体归应用,长流程状态归明确的流程能力,避免状态责任混淆。

网关控制调用不揽业务:API网关接收调用并路由至后端,提供安全、限流、监测与使用报告;开发者门户提供发现、文档与示例。复杂业务和聚合逻辑应由负责该语境的域组件承担,避免把网关重建为新的中央ESB。

复合API归属逻辑所有者:一个调用组合多个后端时,业务规则应放在拥有该规则的域内,网关只承担必要的验证和路由。跨域复合接口需要注意一致性、权限和底层依赖,避免复合接口再层叠复合接口,隐藏调用网络。

API契约支持共同验证:API契约记录结构、协议、版本与方法等约定,可用OpenAPI等机器可读格式表达并用于文档和测试。消费方提供期望测试可帮助发现破坏性变更;规范文件本身仍不能替代业务语义与权限的协商。

服务目录提高可发现性:服务目录统一记录接口所有者、版本、变更、使用和描述,支持复用及依赖识别。分布式网关和网格都应连接目录;可将注册放入发布流程,而非依赖事后人工寻找数千个服务。

函数隐藏运行基础设施:FaaS把函数作为按需执行的部署和计费单元,用户不用直接管理底层服务器。函数仍需要接口、所有者和跨域契约;响应时间受冷启动、配置与负载等约束,不能由“无服务器”推断恒定快慢或必定异步。

网格与网关边界互补:服务网格治理环境内部的服务间通信,网关常作为跨域或外部入口。控制面定义路由、策略和安全,数据面执行请求处理。实际部署可以组合,关键是内部技术接口与跨域业务接口具有不同治理要求。

外部接口独立信任边界:外部伙伴可能使用不同语言、协议与身份体系,并需要独立限流、计费和攻击防护。增加外部适配层可隔离内部变化并支持伙伴体验;是否分开部署应依据业务策略与安全边界,而非只看能否共用一个网关。

体验层靠近客户优化:面向用户的接口需要减少请求、缓存稳定内容、管理会话并验证输入。BFF为不同前端提供适配,避免移动端与桌面被同一后端表示束缚。体验域承担这些规则,源域仍负责其业务事实与权限。

GraphQL选择需要的数据:GraphQL通过模式和查询语言让客户端指定所需字段,可在已有服务之上组织统一访问。它有助于避免多余字段和往返,但不会消除后端负载、权限与跨域语义问题;模式联邦也不应自动演变为一个庞大企业通用模型。

读API可路由到副本:域可把允许最终一致的查询路由到读存储,把命令和需强一致的读取送往权威操作系统。这样复用对外接口同时降低源负载,但必须向消费者明确一致性约定;接口地址相同不表示所有操作具有相同新鲜度。

原书依据 · 21 处

第06章 Event and Notification Management

事件描述某一时刻发生的变化。异步交换降低时间耦合,也引入重复、延迟、乱序、重放和治理问题。本章逐步增加代理、转换、模式仓库、事件存储与分析组件,说明一套消息中间件不等于完整事件架构。内部技术事件与跨域业务事件必须隔离。原文对至多一次与强一致的描述有误:至多一次允许丢失但不应允许重复;有序处理不等于强一致,也不必靠锁住所有副本实现。消费确认删除更不能单独保证业务副作用恰好一次。本章相关卡明确这些边界。

事件与通知载荷不同:携带状态的事件包含完成消费所需数据,可帮助接收方维护本地副本;通知只表达发生变化及其引用,消费者还要回查来源。前者增加载荷与复制治理,后者保留时间和源可用性依赖,应按用途取舍。

异步降低时间耦合:异步交互让生产者不必等待消费者立即完成工作,消费者在后续处理消息。它增加缓冲和故障容忍空间,但需要管理处理滞后、失败与状态可见性,不能把发送成功等同于业务已完成。

队列与事件日志分工:队列暂存待处理消息并以确认支持任务分配;持久事件日志则允许不同消费者按各自位置独立读取和重放。确认前后崩溃仍可能带来重复或丢失,是否具有端到端恰好一次效果取决于消费事务与外部副作用协议。

代理抽象事件路由:事件代理验证、存储、路由和交付事件,可能提供聚合或分布式持久化能力。topic、stream、event hub等名称常承担逻辑事件分组作用,但具体顺序、保留和投递保证需要逐平台核实,不能仅按名称等同。

事件处理从单点到模式:简单事件处理直接响应单个变化;流处理可根据过去事件维护状态;复杂事件处理识别跨来源和时间窗口的组合模式。产品能力常重叠,应按实际状态、窗口与匹配需求评估,而不是把三类当成互斥技术。

应用与数据库均可产事件:应用代码或前端可表达业务事件,但需要与语言和中间件适配。数据库变更可通过轮询、触发器或日志CDC捕获;它较少依赖应用修改,却往往只暴露物理行变化,还需转换为业务可理解的事件。

轮询触发器与日志CDC:轮询周期查询新变化,实施较简单但增加数据库负载且可能需要更新时间字段;触发器随写入执行逻辑,会影响写路径;日志CDC读取事务或审计日志,降低反复查询但有工具和数据库条件。选型需同时考虑完整性和运维成本。

扇出支持独立消费者:扇出让多个消费者读取同一事件流,各自保存消费位置并按自己的节奏前进。它区别于多个工作者竞争处理同一任务;能否重读还取决于保留期和位置管理,消费者慢于保留窗口时需有恢复计划。

渐进替代可借事件扩展:可让云函数消费旧系统事件、完成新能力并将结果返回旧系统,以逐步补充或替代原系统的一部分。书中把此类方式归于绞杀者模式;关键是明确新旧职责与过渡路径,不能只要调用一个函数就认为完成现代化。

事件转换应留在域边界:接收侧和发布侧之间可设置转换组件,将原始事件映射为稳定业务结构,并支持版本兼容。路由与模式可元数据驱动;领域规则仍由生产或消费域负责,公共消息平台不能暗中承包所有业务转换。

模式仓库约束消息演化:模式仓库保存消息结构、版本、所有权与说明,可在注册或传输时进行兼容验证。它应区分内部与业务流,并连接目录与血缘;JSON灵活格式本身不提供兼容保证,需要额外模式与发布规则。

事件存储支持查询重放:事件存储持久保留事件,使消费者能够查询、补充数据或从过去重放。可放在生产或消费侧,分别支撑读取副本或本地用例;存储技术需要按查询、保留、成本和重建要求选择,不能默认无限保留。

命令记录不等于事实日志:命令源记录处理前的请求以便审计与恢复,事件记录已经发生的事实。重放命令可能重新调用外部系统或因当前状态得到不同结果,必须区分重建内部状态与重新执行业务副作用,不能随意重试历史命令。

变更订阅触发增量处理:change feed在数据变化后提供增量输入,可触发函数即时验证、解析和传播,减少自建轮询工作者。它简化反应链路,但仍需核实起点、保留、重复和删除语义,不能把“有变更流”当成完整业务事件契约。

内部流与业务流隔离:内部流服务域内技术协作,可保留实现细节;跨域业务流需要读友好、稳定、所有者和更完整的登记。可用独立服务、命名、访问控制或集群隔离。其他域不应直接订阅内部流,否则生产者失去独立演化空间。

流保留需生命周期控制:长期保留可支持副本重建与历史分析,也增加成本、删除与隐私治理负担。可按需求压缩到最新状态或卸载到历史存储。共享企业事件平台若同时成为应用主数据库,会混合治理与故障责任,需明确边界。

背压暴露处理能力差:背压源于接收速度暂时超过处理能力,可能导致缓存耗尽和数据丢失。需要扩容、限制输入、持久缓冲或溢出转存等策略;丢弃是否允许必须由业务契约决定,关键消息不能只靠加大内存缓冲。

一致性不能只看顺序:最终一致允许副本在传播期内暂时不同;强一致关注操作的观察规则。消息有序不等于副本间已达到强一致,也不能以速度快慢直接判断一致性。跨域流可配合缺失检测和对账,前提是明确业务容许的滞后与恢复范围。

处理保证要端到端界定:至少一次允许重复;至多一次可能丢失但不重复;恰好一次应说明保证覆盖的状态和副作用边界。原文把至多一次写成也允许重复,应纠正。事件唯一标识、幂等处理和事务可以帮助控制重复,但不能仅靠事后去重就宣称所有外部效果恰好一次。

顺序保证有分区范围:事件可能乱序,消费时需明确顺序的业务键、分区范围和序号。分区内有序不代表所有分区存在统一全局顺序;增加并行分区会改变协调需求。若在消费侧重排,应同时处理缺失、重复和等待窗口。

死信保留失败证据:死信队列保存无法正常交付或处理的消息,便于检查格式、尺寸、目标与超时等原因。应有负责人、监控和受控重发流程;移入死信不代表业务完成,重放也要避免产生重复副作用。

序列化与传输分层:序列化把数据转换为可交换表示并描述类型,有助于兼容与版本管理;传输协议负责通信。Avro、Protobuf和Thrift与MQTT、AMQP并非同层概念,原文混列时应区分。采用JSON仍可另加模式校验,不必放弃结构约束。

事件命令查询应分责:事件表达已发生事实,命令请求执行可能被拒绝的动作,查询不修改业务状态。把命令职责随意跨多个应用拆散会使事务完整性难以保证,需要显式失败与补偿安排。流式复杂度应由可量化业务价值证明,而非把实时当作默认要求。

原书依据 · 23 处

第07章 Connecting the Dots

本章将数据产品、API和事件视为互补工具:先按时效、完整性、调用方向和一致性选择模式,再保持同一域的语义与责任一致。概念、逻辑与物理模型之间的映射支持发现和治理,而组织的交付模式决定这些标准能否落实。后半章讨论企业架构指导、域边界、例外、平台与基础设施团队、Team Topologies和规划节奏。低延迟支付只是规则例外的示例,不把书中100ms当成所有支付的普遍要求;API协议本身也不保证强一致。

交换模式按需求组合:批、API和事件可以在摄取与消费两侧组合。选择先看可接受延迟、完整性核对和由谁发起交换,再评估成本、恢复和维护。实时摄取可以供批量产品消费,API也可读最终一致副本,不能单凭工具名称判断业务保证。

队列缓冲削平请求峰值:队列负载平衡在高峰请求与有限后端之间加入持久缓冲,使后端按可承受速度处理。它以等待时间换稳定性,需要定义接收与完成状态、容量和失败恢复;若业务必须立即获得最终结果,则不一定适用。

概念逻辑物理模型相连:概念模型描述业务对象和含义,逻辑模型表达实体与关系,物理模型描述实际存储与接口实现。把不同表示映射到共同业务元素,可比较同域数据产品、API和事件语义,也能保留消费者转换后的新语境。

元数据也需要质量控制:元数据若缺少业务词义、来源和所有者,数据即使存在也难以可靠使用。可检验物理字段是否映射业务元素、限制不完整发布并报告覆盖程度;建立捕获责任和更新流程,避免目录只在初次登记时准确。

架构手册降低决策成本:把交换模式的适用条件、成熟度、产品选择、优缺点和示例编成手册,结合设计问诊与社区培训帮助团队决策。架构审查可要求明确数据与集成方案,但指导应能促成落地,不能只有审批图而无可用能力。

业务边界决定发布要求:同一平台可同时服务域内和跨域通信,但二者接口稳定性、文档和登记要求不同。域内允许更多技术细节,跨域要隐藏实现并保持可消费性。不能因为共用网关或存储,就允许消费者直读生产内部结构。

例外仍需保留治理:确有测量证据的延迟关键场景可能需要绕过中间层,使用直接连接。例外应记录依据和边界,仍遵守接口、安全、文档与血缘等要求;不能把一项性能豁免扩展为全面免治理。

域平台基础设施各有责任:域团队负责业务应用、管道和正确数据;数据平台团队把基础设施组合成自助数据能力;基础设施团队负责通用服务、成本与政策控制。职责可由同一组织或虚拟团队协作完成,重要的是交付接口和责任清晰。

团队拓扑服务工作流:流对齐团队围绕业务工作交付价值;赋能团队帮助其学习和补齐能力;复杂子系统团队承担专业性很强的组件;平台团队把公共能力当作内部产品。应根据依赖和认知负荷安排互动,而非把团队名称机械贴在部门上。

内部开源促进知识流动:跨团队临时协作、借调或贡献共享代码,可以加速缺失能力交付并传播知识。它类似开源贡献模式,需要明确维护与归属,不能把临时借调当成长期掩盖平台资源不足的办法。

规划连接局部与跨团队:短迭代及评审帮助团队调整交付,跨团队规划用于展示进展、发现依赖和协调更长周期目标。两种节奏解决不同范围问题;大型会议的存在不证明协作有效,架构角色应帮助排除障碍并持续吸收反馈。

企业架构连接上下层:企业架构把业务战略与软件实施相连,观察跨域依赖并指导可执行的演进路线。域架构聚焦局部知识,企业视角补齐共享能力和整体约束。二者需要沟通与支持,而非只靠未来状态图推动组织变化。

原书依据 · 12 处

第08章 Data Governance and Data Security

治理决定数据含义、责任与用途,安全执行允许谁在何种条件下使用;二者共享元数据基础。本章先定义角色、框架与流程,再把契约、分类和用途映射到统一授权架构,最后讨论API与事件的差异。域的业务边界可以辅助安排信任责任,但域内仍需最小权限,不能由“同域”推断所有人可信。原文日志保存SSO token的说法不能作为安全建议,笔记只保留审计主体与决策标识,避免记录可重放凭据。2023年的监管与厂商功能判断均不当作当前合规事实。

治理随规模显式化:小团队可通过熟人协作隐式管理数据,规模扩大后知识分散、责任模糊与跨域使用增加,必须显式定义决策和流程。治理应帮助发现和安全使用数据,而不是把所有数据先冻结在审批队列中。

数据角色按责任划分:数据负责人对质量、定义、分类和用途负责;应用负责人维护技术、接口与运行;数据管家落实标准并提供专业知识;使用者提出用途需求,创建者按约定产生数据。角色可兼任,但共享应用时需要保留责任区别。

治理框架落实工作说明:治理框架把角色、政策、流程和质量处理等活动连接起来,并定期更新。RACI等责任矩阵帮助明确谁负责、谁承担最终责任及谁参与,成熟度模型用于观察执行进展;角色名称相同并不证明各企业职责相同。

治理机构由执行转赋能:联邦环境下中央治理团队负责公共标准、培训、审查、透明度和改进,域团队执行本地管理。中央不必亲自操作所有数据,但需要授权和可用工具;治理应分阶段聚焦关键数据,以业务价值和问题解决衡量效果。

治理工具需元数据联通:目录保存业务描述与血缘,应用仓库记录技术资产和负责人,唯一元素仓库描述语义实体,契约应用记录使用条件。扫描、画像和知识图谱补充观察与关系。这些工具应形成一致视图,不能各自建成新的孤岛。

数据契约兼顾技术用途:数据契约约定谁可为哪些目的使用哪些数据,同时包含模式稳定、质量、服务水平和版本等技术约定。技术工程师与业务负责人需共同参与;契约文本不能自动保证交付,需要管道验证与授权执行。

稳定标识脱离物理路径:使用稳定唯一标识引用逻辑产品与元素,可以承受物理文件移动或同语义多副本。标识仍需准确映射到当前位置并治理其生命周期;随机生成一个GUID并不能自动解决重复语义和错误关联。

使用协议约束再分发:使用协议描述目的、隐私、允许组合、进一步分发与保留等条件,与某一个接口实现无关。属性应映射业务术语,以便解释授权含义;难以自动执行的伦理或用途约定还需定期审计与责任落实。

可观察性检验契约健康:数据可观察性关注新鲜度、完整性、数量、血缘、质量与趋势。把运行统计连接契约和产品,可发现延迟、缺失及质量恶化;监控仪表板不是控制闭环,还需负责人和明确的处理动作。

契约自动化循序渐进:先确保来源责任和管道稳定,用简明表单验证实际需求;再实现契约存储、审批、授权与数据验证,逐步支持细粒度策略与自助服务。过早堆积大量元数据和审批条件,会阻碍文化转变而非提高控制。

跨域安全需携带语境:数据离开来源域后可能被复制和组合,敏感性会随用途变化。跨边界应携带分类、用途、所有权及必要过滤元数据,建立契约、血缘和一致执行。域内也应按职责控制访问,不把组织边界当作无条件信任。

分类与标签分离策略:分类说明数据内容类型,如姓名、银行卡号;标签表达保护等级,如机密。政策将二者关联,可让保护规则调整时自动影响相关资产。方案也应覆盖文档和日志,避免只分类表格而遗漏其他敏感内容。

用途分类限定使用场景:用途分类表达研究、人力资源或财务报告等使用情境,与数据分类共同影响授权。列表应集中维护并保持易选;某人属于部门不代表可访问该部门全部数据,仍需核对必要范围与具体契约。

ACL与RBAC授权有别:ACL把允许主体和动作附着到具体对象,RBAC通过角色汇集权限再分配用户。前者适合对象粒度,后者便于组织治理;过细角色可能爆炸,过粗角色又会扩大权限,需要生命周期和审查而非只选一种模型。

ABAC结合多种属性:ABAC按主体、数据、环境和操作等属性评估策略,可表达部门、敏感等级和工作位置等组合条件。灵活性依赖属性准确与及时,不能把更多属性等同于更安全;需处理缺失、冲突及过期信息。

授权决策执行分离:PEP拦截并执行授权,PDP根据政策决定允许或拒绝,PIP供应主体和资源等属性,PAP管理政策。分离职责使多技术入口共享规则;实际系统可组合部署,但不应允许绕过执行点直读底层数据。

身份与权限不可混淆:身份提供者负责认证及相关身份属性,SSO让用户一次登录访问多个应用。SAML和OpenID Connect可用于身份联邦,OAuth主要处理授权委托。认证成功仍需按资源和用途授权,且日志不应保存可重放令牌。

授权需要多源上下文:决策可结合契约、目录分类、产品健康、调用主体、消费环境和用途。先采用最必要属性,再逐步扩展;访问记录保存主体与决策证据可支持审计,不应将凭据原文当作分析标签。

细粒度保护可多处实现:可在数据服务内用行列策略或安全视图执行,也可在统一入口拦截查询,或发布受控脱敏副本。三者成本与风险不同,必须保护原始入口、同步撤销和副本生命周期,避免一种路径安全而另一种路径绕过。

共同所有权需要授权规则:共享系统可按负责人拆分产品,或在单产品内携带行级所有权元数据并动态过滤。多所有者时可建立有据的委托审批以降低负担,但委托范围必须明确,不能以一人同意替代所有人的必要授权。

API安全有入口与源两层:网关校验令牌、范围和公共政策,源服务结合业务上下文决定返回什么。消费者传来的权限属性须可验证,跨域缓存还需过期和撤销策略;多跳获取上下文会影响时延,应按实际信任与性能取舍。

聚合安全不能放宽源规则:复合接口须遵守各来源的本地规则,并由聚合责任方补充组合后产生的新限制。组合可能增加敏感性,不能只检查单个来源各自可读;消费者也要提供可信的必要上下文,不能自行声明更高权限。

事件细粒度授权需过滤层:若消息平台仅提供流或topic级访问,无法直接表达复杂行列规则,可由受控组件读取内部流、结合策略并发布消费专属输出。需要同时管理新增流的成本、模式和策略变更,不能以2023某厂商功能描述判断当前所有平台能力。

个人数据治理连接主数据:保护个人数据需要治理识别敏感内容和目的、安全限制访问、主数据帮助识别同一主体及其同意记录。三者协调才有望追踪分散副本;这只是架构职责划分,不构成对特定法规的完整合规结论。

原书依据 · 24 处

第09章 Democratizing Data with Metadata

元数据连接数据含义、实现与运行,是全局可发现性和治理自动化的基础。本章先分类,再建立企业元模型,将逻辑产品、业务词汇、物理属性与血缘关联;随后提出metalake,把分散工具的描述通过集成和质量处理汇集成可使用的知识。目录提供资产管理和发现,知识图谱增强跨类型关系查询,市场门户则把后台能力转成消费体验。AI辅助映射与自动集成在此属于方向与条件性能力,不应把未来愿景记录成已实现效果。

元数据分业务技术运行社交:业务元数据描述含义、所有权与用途;技术元数据描述模式、格式和接口;运行元数据描述执行状态和时间;社交元数据描述使用、评价和协作。分类有助于明确来源与维护流程,但敏感配置和密钥不得因为属于技术元数据就公开收集。

企业元模型连接管理实体:企业元数据模型定义域、应用、产品、人员、流程和技术等实体及关系,具体工具中的元模型是其实现。先按治理问题选择必要范围,再适应工具约束,避免把某厂商目录结构直接当作企业全部需求。

产品元素连接词义与字段:数据产品元素把逻辑产品与业务词汇、物理属性连接,可由带属性关系的词汇承担,也可建为独立实体。后者扩展关系更灵活,却增加维护成本;同语义多物理表示应关联同一业务定义。

词汇表保留上下文差异:概念模型和词汇表解释业务术语、关系与定义,可按域分层管理,并标记同义、缩写和相关词。它可包含尚未实现的业务概念,不能要求每个词都立即映射字段;跨域同名词也不应无条件合并。

物理模型不等于逻辑模型:逻辑模型组织实体、属性和关系,物理设计受性能、安全和存储技术影响,可把多个逻辑实体合并或以不同方式表示。扫描可恢复实现结构,却不能自动还原所有业务含义,需要专家补充语义映射。

元数据采集混合多种渠道:连接器扫描、建模工具导出、运行时API捕获和人工众包可以互补。扫描覆盖不到的源需提供抽象描述并标明缺口;人工补充还要有负责人和更新流程,不能把一次采集当成持续准确。

血缘解释移动与影响:血缘记录数据起源、流动和转换,支持调试、依赖分析与变更影响判断。可由扫描、运行时代码或手工提供,不同工具可能只支持不同粒度;应在选型时定义字段级或表级要求,避免误把局部图当成端到端完整图。

本体集成依赖映射准确:把业务概念映射到可寻址的物理数据,才可能按语义自动提取、连接与提供数据。过期模式或错误概念映射会使智能集成失效,自动化不会消除元数据质量的前提。

元数据湖汇集管理观察:metalake是统一管理多类元数据的架构,支持发现、血缘、质量、使用和健康观察。它需要选择、清理、集成与生命周期管理,而非原样堆积所有工具导出;元数据同样可以复用批、API和事件的集成模式。

目录是组件不是全体系:目录提供资产清单、搜索、业务背景及适用性信息,但其扫描、执行和跨工具集成可能有边界。应按企业元数据战略选择并补充能力,保持所有权、标签和词义映射;不要把治理流程完全折成厂商可配置的功能。

知识图谱表达跨源关系:知识图谱以实体和关系网络连接现实概念与来自不同来源的信息,适合导航、搜索和复杂关系查询。它可连接元数据与物理位置,但图的存在不代表映射正确;权限、语义与更新责任仍须治理。

RDF用三元组表达资源:RDF以主语、谓语、宾语三元组表达资源与关系,提供可扩展的图式信息表示。它适合链接分散描述;采用RDF并不会自动获得同一业务语义,还需共享标识、词汇和映射。

OWL定义本体含义:OWL为本体提供可形式化的概念和关系表达,帮助描述约束和语义。它可用RDF表示,从而把模型含义也作为数据管理;本体推理的表达并不等同于对实际数据进行所有完整性校验。

SPARQL查询RDF图:SPARQL用于查询与处理RDF数据,并可支持跨图或联合来源访问。它让图中的业务和技术关系可检索,但实际联邦查询仍依赖端点可达、权限和性能,不能由标准名称推断所有源无缝联通。

SHACL验证图的形状:SHACL用形状图描述对数据图的要求,再检查数据是否符合。它把“模型里应有哪些关系或属性”的质量约束显式化,补充本体含义表达;验证结果仍应附所用形状版本与数据范围。

SKOS组织可共享词汇:SKOS提供表示词表、分类和叙词体系的公共模型,使概念的层级、标签及关系可交换。它有助于组织业务术语,而非替代所有复杂业务本体或数据库模式。

织网可用层次映射数据:书中Anzo案例通过来源层、转换链接层和消费语义层组织Graphmart,借助元数据定义和查询处理形成集成视图。这展示元数据驱动织网的可能方式,不是对当前产品能力或所有工具的统一保证。

核心元模型允许领域扩展:中央模型固定关键实体和关系以便互操作,域可添加自己的属性、词汇和分类。扩展应保留与核心和物理位置的联系,避免无协调地改变公共含义;这样兼顾共同查询与局部语境。

数据市场连接发现与履约:数据市场门户以目录、图谱和契约服务为后台,提供搜索、质量和使用信息、申请与获取能力。评分和推荐只能提供线索,不能代替适用性判断;后台授权和履约状态需双向同步,避免门户显示可用而实际无权。

元数据质量需要反馈环:用指标、告警和责任人持续维护元数据的完整、新鲜与正确,可监测能力、产品和域的健康状态。先从少量用途和来源逐步扩展,必要时过滤无关扫描结果,让元数据真正回答管理问题。

原书依据 · 20 处

第10章 Modern Master Data Management

MDM在自治域之间为关键共享实体增加一致性,而不要求把全部企业数据统一。它超越ETL,包含匹配合并、质量、同意、工作流和回写。不同实现风格会改变来源系统被侵入的程度。参考数据负责分类与代码,主数据负责关键实体及标识;策展则可能创造新语境和事实,因此其所有权规则与MDM不同。企业级与局部域级主数据可共存,范围应由实际复用、血缘与业务重要性决定。

主数据范围由共享价值决定:MDM适合稳定、重要且被多个域共同使用的实体与属性。用血缘、契约和模型识别重叠,从小范围迭代匹配规则;把所有数据纳入主数据会重现企业统一模型的协调成本。

MDM不只是数据整合:主数据管理包括质量问题处理、匹配合并、补全、地域、同意、审批和来源回写。ETL提供搬运和转换能力,却不能单独决定谁有权合并记录、如何复核疑似匹配及错误怎样纠正。

合并式MDM只改善下游:consolidation把多源主数据集中清理、整合后供报表与分析消费,不把改进回写源系统。部署影响相对集中,但源头质量和操作业务不会自然得到改善;必须明确谁使用哪一层数据。

注册式MDM保留来源自治:registry维护去重对象及本地标识之间的对应关系,不改动源系统,也不把清理后的内容分发回去。它可低侵入地发现重叠并帮助连接,但不应据此宣称源数据质量已经提升。

集中与共存风格权衡:集中式让共享主库成为操作与分析的重要依赖,要求来源适配统一数据;共存式则让主库和本地系统同时维护并同步改进。共存更贴近现实自治,却需处理双向传播、冲突和及时性。风格可组合,不由某厂商默认配置替代业务选择。

MDM集成需协调时间状态:MDM既消费也提供数据,可用批、API和事件满足不同速度。分析主库与消费者若读取不同时间版本,会产生对不上号的状态;宜共享可追踪的产品来源与版本,并为操作路径验证匹配延迟,不能假定任何接入都实时一致。

参考数据统一必要代码:参考数据用于分类、组织和分组其他数据,如币种、国家和产品代码。可由域映射本地值,也可由中央服务统一校验补全。映射必须说明代码体系和层级,公共参考值不等于统一整个业务模型。

主标识连接本地身份:主标识记录多个来源记录属于同一实体的关系,本地键仍保留以支持追踪。单一系统内自增键未必跨系统唯一,应结合来源命名空间或受控映射;只有参与主数据范围的系统需要采用相应主标识。

确定标识依赖稳定输入:代理键没有业务含义,适合避免本地键冲突;随机GUID重建会改变引用关系。确定性标识可使同一规范输入产生同一结果,但前提是输入和命名空间稳定,不能因哈希相同生成规则就免除实体合并和历史映射管理。

主数据可按域级提供:企业数据供广泛共同用途,域级数据由部分协作域共享,本地数据只服务单域。可将MDM和质量能力作为服务提供,并用目录标明范围与所有者;不是所有质量匹配都需要一个覆盖全企业的集中模型。

策展可能创造新语境:数据策展把多源数据组织得更有价值,可以临时查询、物化或按元数据生成,也可能派生新事实。MDM主要矫正和识别同一实体,应保留来源语境与追踪;不能把新的业务计算包装成“更正确”的原始事实。

一致性也可共享知识代码:可通过词义和关系元数据共享知识,通过集成视图共享查询结果,或共享模板代码供域本地执行。前者依赖消费者解释,视图可能含新逻辑并产生耦合,代码修改又可能使结果分叉,应按需要的控制与自治权衡。

集成枢纽需防来源模糊:策展枢纽能复用清理与加工,但若质量修正在中心停留,源业务得不到改善,责任也可能被新发布层掩盖。应登记来源、版本、规则和血缘,防止枢纽变成跨系统共享业务状态的紧密依赖。

聚合协作有四种取舍:各走各路接受重复以换自治;伙伴关系共同维护逻辑但需协调;客户供应商由一方承担交付并协商优先级;遵从者接受上游模型。选择依据共享程度、集成难度和谈判能力,而非认为共享越多总越好。

主数据治理保留审核轨迹:匹配、合并和清理需共同约定范围、规则、授权、质量和回写,并保存来源及变化历史。匹配规则可能过度或不足,需要可迭代和撤销。主数据权威来自治理和证据,不是因为数据位于某个“Gold”目录。

原书依据 · 15 处

第11章 Turning Data into Value

消费端围绕具体问题整合数据,变化速度和技术需要比通用发布端更多样。本章先区分直接消费与领域数据存储DDS,再讨论边界、数据模型、语义层、自助分析和MLOps。探索成果进入生产需要工程化交接,不能让正式报表或模型依赖个人手工步骤。作者有关ChatGPT无法改变行为的2023表述已过时,此处只保留外部模型同样需要能力边界、偏差与持续观察的原则,不采用产品现状断言。

直接消费避免不必要副本:若读产品已满足性能、安全和轻量转换需求,可查询时直接使用而不持久复制。复杂整合、新事实、重计算或故障隔离可能要求本地存储;选择应明确延迟、恢复和治理成本,不能把所有消费都机械复制。

DDS围绕消费用途组织:领域数据存储DDS承载消费、整合和使用数据所需的服务与数据,可包含ETL、BI和ML能力。它针对具体业务上下文,区别于面向多方稳定发布的数据产品;一个系统可同时是消费DDS与新事实的权威来源。

消费数据分复制整合发布:复制数据保留原语义,整合数据按本地用例形成新情境,拟对外发布的数据则必须再满足产品的稳定与解耦要求。分类帮助保留来源与责任,避免把临时消费表直接变成外部依赖。

DDS边界兼顾业务技术:先按业务能力、语言与重叠要求划范围,再考虑查询、变化速度、安全和性能。相同来源不代表应共用一个DDS;变化节奏冲突时应分离,而共享整合逻辑应保持小且明确,避免形成分布式单体。

消费发布架构可以分开:DDS可与产品发布共用服务,也可采用独立蓝图。共用提高资源复用,却让副本、新事实和公开接口更难辨别;分开更清楚隔离用例变化与发布稳定性,但增加基础设施。需用元模型和边界管理真实依赖。

分析用例先说明业务结果:分析项目应明确业务问题、长期价值、来源、时效、完整性、参与者和成功标准,再选择服务。商业模式画布可帮助连接投入与价值;一次性工具堆积容易带来难维护的接口网络,不能由购买工具代替需求分析。

分析团队明确不同技能:领域负责人协调业务目标,应用负责人负责技术运行,分析师解释需求和使用,工程师维护摄取加工,科学家研究模型,报表构建者设计呈现。小型跨职能团队可兼任角色,但须明确责任与交接,不以岗位名称推断能力。

存储选型围绕读取约束:存储选择需比较数据结构、查询可预测性、连接聚合、历史、读写速度、访问协议、弹性与运维。预期查询可用缓存和预计算,复杂关系可能需要不同模型。SQL或NoSQL的标签不足以决定事务、扩展和性能,应按具体实现验证。

管道分离输入转换输出:把管道组织为可复用、版本化的转换步骤,明确输入、逻辑和输出,有助于复现与并行处理。消费方仍需检验符合本用例的质量、安全与完整性,不能因为上游产品通过验证就取消所有本地检查。

消费血缘保留回指:消费管道应记录源产品、文件或事件、本地键和每步转换,支持追踪新数据怎样形成。工具选择要兼容所需血缘粒度;若只记录最终结果而无法回指输入,就难以解释错误传播及再分发责任。

数据粒度明确一行含义:粒度规定表的一条记录代表什么,例如每商品一行或每商品每日一行。组合前核对粒度可避免把不同层次直接连接造成重复计算;字段名字相同不能代替键与粒度验证。

语义层封装消费规则:语义层用业务术语呈现数据,预定义关系、计算与格式,降低用户误连接和重复解释。可缓存数据以换性能,或把查询下推以减刷新延迟;额外层仍有成本、模型耦合和权限要求,简单稳定报表未必需要。

发现与探索范围不同:数据发现包括寻找可用来源并识别潜在模式,探索则深入观察某份数据的结构、关系与分布。二者支持提出和检验假设,但探索性结果还需质量与复现验证,不能立即升级为正式决策服务。

自助数据与生产有交接门槛:自助环境用于临时探索,正式托管数据要求稳定、自动化、标准和治理。探索输出可在临时工作区标记未认证;进入生产要由工程化管道重新实现并验证,避免生产依赖个人手工操作或本地文件。

MLOps管理完整模型周期:MLOps协调业务、科学、工程与运维,覆盖采集、准备、训练、验证、部署、监测和解释。模型效果依赖数据和环境变化,不能只测试算法代码;重训练频率和自动部署仍应按风险与证据决定,而非持续盲目替换。

模型实验保存可复现证据:每次实验记录输入版本、参数、算法、指标、环境和制品,支持比较与重现。项目起步先定义成功标准、伦理边界和来源;只有离线指标而无完整运行条件,无法可靠判断改进来自模型还是数据差异。

模型服务有批流API三型:模型可以在线API响应、批量输入输出或随事件流处理。选择取决于业务时效、吞吐、成本与集成,不能只按模型训练工具决定。生产部署需要同时定义超时、失败和输出责任。

特征存储复用加工语义:特征是供模型使用的变量,特征存储管理定义、持久化与供应,避免多个项目重复计算昂贵特征。共享需考虑时间语义、训练推理一致性、敏感数据和版本责任;不能因为复用有益就强制所有特征都集中。

模型生产化补工程控制:生产化需参数化配置和凭据、自动验证数据和模型、测试推理接口、记录指标、评估偏差并采用适当的影子或A/B验证。运行平台尽量不持有长期业务状态,数据留在明确存储中,便于替换模型与回滚。

工作区粒度影响隔离复用:按团队设置工作区便于共享制品和结果,按项目设置则更易分离成本与安全条件,但增加管理并使发现更分散。工作区、代码模板与部署实例应明确映射,公共蓝图和项目定制分别版本管理。

原书依据 · 20 处

第12章 Putting Theory into Practice

最后一章把全书连接为渐进旅程:先用小用例证明产品责任和数据价值,再补全领域地图、蓝图和自动化,最后移交自助能力并深化主数据、消费与织网。三个阶段是参考路径,不是每个组织必须按同一成熟度阶梯前进。中央和域的比例需随技能、风险与实际流量校准;文化、数据素养与架构领导贯穿整个过程。

首个用例兼顾小与全局:先选价值明确、复杂度可控且团队愿意合作的用例,以少量来源学习产品开发。保留整体能力地图与战略方向,却不必先穷尽所有细节;试点还应展示业务结果,争取持续授权和投入。

集中起步保留分权出口:成熟度低时先用集中标准与工程支持降低复杂性,同时明确哪些能力未来交给域、哪些保持中央控制。设计应保留松耦合边界,避免“暂时集中”变成无法拆开的永久组织依赖。

机会阶段学习交付责任:初期用一个数据落地区和管理落地区承载必要摄取、转换、存储与目录能力,由中央和域共同完成第一组产品。手工步骤可以暂存,但应标记质量、血缘和访问缺口,并在新增消费者前改善不稳定接口。

转型阶段把重复变标准:有了用例和领域全貌后,逐步用参数化管道、公共质量检查、日志与蓝图替代一次性脚本。中央提供服务,域维护配置和数据责任;先保证来源交付稳定,再放大消费,避免多个团队反复修同类问题。

历史迁移需单独补缺:新架构只从上线时开始积累历史时,可从旧仓库提取必要历史并以遗留产品受控发布,再与新交付衔接。需要核对字段、粒度、重复和语义变化,不能把复制旧文件等同于完成历史一致性。

优化阶段移交自助能力:在基础成熟后,开放自助注册、订阅、元数据维护和基础设施供应,逐步增加消费蓝图、安全、主数据与多个输出。每新增服务先验证需求和治理,不以平台功能数量代替域团队真正能独立工作。

双编排分别管理数据软件:数据管道负责摄取、验证、转换、状态记录和通知,CI/CD管道负责测试并发布代码、模式与基础设施版本。二者连接但职责不同;将一次数据任务成功误当成发布可复现,会遗漏配置与部署风险。

数据流水线保留状态通知:数据到达后校验来源、复制、更新模式、运行质量和转换,最后更新观察记录并告知消费者。通用日志与通知可标准化,领域转换仍本地管理;失败也要记录并通知,不能只在成功时更新目录。

发布隔离依赖制品版本:开发、测试和生产应隔离配置和权限,通过评审、自动测试与受控提升发布版本。书中多长期分支是一种示例,重点是可重现制品和环境映射;可按需创建临时测试环境并在完成后清理。

治理素养伴随工程能力:DataOps要求版本、测试、运行监测、反馈与模板复用,业务人员则需理解所有权、分类和用途。中央团队同时提供训练和支持;仅安装自动化工具而没有职责与学习,难以形成持续的产品文化。

架构表达应连接实时元数据:架构模型和图可从不断更新的元模型、应用登记、成本与血缘生成,减少静态文档过期。架构师仍需解释业务目标、组织设计和取舍,并用设计讨论指导团队,不能把图自动生成当作自动完成架构决策。

原书依据 · 11 处

跨章综合

这本书的核心是把“哪里有数据”变成“谁对什么事实负责、通过什么边界交付、怎样在另一种用途下使用”。领域划分给责任定位,产品/API/事件给交换建契约,平台蓝图减少重复劳动,治理与元数据让不同实现保持可解释。主数据补足跨域关键实体的一致性,DDS则保护具体用例的变化自由。

集中与分权是多个维度的选择:数据所有权、基础设施、规则和执行未必同时集中或同时分散。把这些维度分别决策,才能理解共享平台为何也能支持域自治,以及完全联邦为何仍依赖共同标准。技术只提供条件,实际可用性由职责、质量反馈、运维与业务采用共同形成。

数据管理还存在两类生命周期:发布者维护稳定事实及接口,消费者为特定问题创造结果。消费者要再次发布,就需要重新承担产品责任并保留血缘。元数据连接这两个循环,使权限、来源、变化和价值都能被观察。

发散与实践

读者延伸,以下交付为计划与首轮公开资料映射,未运行实验、未干预现实系统。优先深读Kafka事务边界(ideas/idea-001-Kafka事务边界深读.md),再用数据契约最小清单(ideas/idea-002-数据契约最小清单.md)把阅读资料库的真实输入、责任与消费要求列清楚。实现深读已核验4.2.0官方源码入口,后续详细阅读与故障试验尚未执行。

生成进度与管理记录

Data Management at Scale

Skill 版本:v23(book-notes)

执行模式:light

建档进度:done

信息浓度:高

稳定性:高

评级:经典原理

评级依据:业务域边界、责任分配、接口解耦与治理权衡可跨产品复用;厂商示例和2023年的市场判断仅作时代背景,不当作当前事实。

出版核验:版权页April 2023 Second Edition、2023-04-10 First Release;OPF日期2023-04-17独立保留,不替代发行日期。

整书讲解:_book_note.md。轻量模式未执行笔记复核、独立审查及审查结果优化。

章节进度追踪表

章节号 章节标题 状态 卡片数
foreword01 推荐序 done 0
preface01 前言 done 0
01 The Journey to Becoming Data-Driven done 21
02 Organizing Data Using Data Domains done 21
03 Mapping Domains to a Technology Architecture done 18
04 Data Product Management done 33
05 Services and API Management done 21
06 Event and Notification Management done 23
07 Connecting the Dots done 12
08 Data Governance and Data Security done 24
09 Democratizing Data with Metadata done 20
10 Modern Master Data Management done 15
11 Turning Data into Value done 20
12 Putting Theory into Practice done 11

非正文排除

spine项 类型 排除理由
1 OEBPS/cover.html 出版/检索资料 版权或标题信息,不含数据管理论述
2 OEBPS/titlepage01.html 出版/检索资料 版权或标题信息,不含数据管理论述
3 OEBPS/copyright-page01.html 出版/检索资料 版权或标题信息,不含数据管理论述
18 OEBPS/ix01.html 出版/检索资料 索引、作者介绍或封面动物介绍,不构成本书数据管理正文
19 OEBPS/colophon01.html 出版/检索资料 索引、作者介绍或封面动物介绍,不构成本书数据管理正文
20 OEBPS/colophon02.html 出版/检索资料 索引、作者介绍或封面动物介绍,不构成本书数据管理正文

待关联术语

术语名 出现章节 一句话语境
Kubernetes / serverless 01 软件交付趋势中只提名,未展开机制
GDPR / CCPA / BCBS239 01 2023年监管背景示例;不将本书当作现行合规指南
feature store 01 保存可复用分析特征的工具,本章仅脚注简述
domain storytelling / event storming / bounded context canvas 02 辅助发现领域边界的方法,本章仅建议参考
ServiceNow 02 应用目录/配置管理工具示例
CISO 08 企业安全战略与流程负责角色;本书不展开岗位实践
tokenization / scrambling 08 脱敏方法提名,需按威胁模型另行研究

引用文献

标题 类型 出现章节 一句话语境
DAMA-DMBOK 书/框架 01 数据管理职能框架的来源
Fundamentals of Software Architecture 书/框架 01 脚注推荐进一步阅读
The Extinction of Enterprise Data Warehousing 书/框架 01 作者关于数仓规模问题的延伸文章
Domain-Driven Design 书/框架 02 DDD概念原始参考
Semantic Software Design 书/框架 02 进一步理解语义与架构的推荐读物
BIZBOK Guide 书/框架 02 业务架构定义来源
Mastering Your Data 书/框架 02 权威来源的延伸阅读
AWS / Azure / GCP Cloud Adoption Framework 书/框架 03 落地区与蓝图的框架入口;具体当前API需另核验
Building the Data Warehouse 书/框架 03 时变与非易失要求的来源
Great Expectations / Soda 书/框架 04 数据质量框架示例;本章解释用途,具体实现待实践核验
Using DBT for Building a Medallion Lakehouse Architecture 书/框架 04 本章湖仓案例的扩展教程
Kimball Group SCD methodologies 书/框架 04 历史维度方法来源
OpenLineage connector 书/框架 04 Spark到目录的血缘连接示例
Architectural Styles and the Design of Network-Based Software Architectures 书/框架 05 REST的原始论文
Data on the Outside Versus Data on the Inside 书/框架 05 接口与内部数据的延伸论文
Event Collaboration 书/框架 05 事件协作模式的延伸文章
OpenAPI Specification 书/框架 05 机器可读接口描述规范
Designing Event-Driven Systems 书/框架 06 事件系统进一步阅读
AsyncAPI 书/框架 06 异步接口描述倡议
Building Reliable Reprocessing and Dead Letter Queues with Apache Kafka 书/框架 06 死信与重处理延伸阅读
Fundamentals of Data Engineering 书/框架 07 逻辑建模的延伸读物
Team Topologies 书/框架 07 四类团队与互动的框架
The Software Architect Elevator 书/框架 07 连接业务与技术视角的推荐书
Scaled Agile Framework 书/框架 07 solution intent及PI planning背景
AltimateAI data-contract resources 书/框架 08 契约资料列表
Microsoft Purview classification documentation 书/框架 08 自动分类产品案例文档
The Enterprise Data Catalog 书/框架 09 目录实施延伸阅读
Protégé 书/框架 09 本体建模工具提名
Anzo 书/框架 09 2023年织网案例,不作当前推荐
Gartner MDM implementation styles 书/框架 10 四类实现风格来源
Hidden Technical Debt in Machine Learning Systems 书/框架 11 模型周边工程与技术债论文
MLflow 书/框架 11 实验跟踪框架示例
ONNX 书/框架 11 模型跨运行环境交换格式示例
Wrangler data preparation paper 书/框架 11 交互数据准备工具论文
The Practice of Enterprise Architecture 书/框架 12 以实际观察理解企业架构的延伸读物

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

暂无已读正文中的具体资金并发案例。

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 Kafka事务边界深读 实现深读 done 06 ideas/idea-001-Kafka事务边界深读.md,已核验官方入口与首轮映射,未执行实验
2 数据契约最小清单 真实任务 done 08 ideas/idea-002-数据契约最小清单.md,计划未执行

实践候选筛选:done

未采用:另建数据网格平台成本过高且没有当前落地需求;大范围企业访谈缺必要对象;工具横评不能替代责任/语义问题。优先执行1,再执行2。

全文14项已读,知识卡239张,结构图卡0。术语与文献见上表,无具体资金并发案例。推荐序为动机与历史背景,前言架构边界在正文讲解并入第1章相关概念;不独立生卡。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。