主题对照

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

本层 103 张卡片 · 含下级覆盖 103 张卡片

本主题的卡片

数据密集型应用系统设计 · 第三部分:衍生数据

记录系统与衍生数据

前两部分都假定应用只用一种数据库;现实中大型应用要以多种方式访问和处理数据,没有一个数据库能同时满足所有需求,于是组合使用数据存储、索引、缓存、分析系统等,并实现在它们之间移动数据的机制。作者认为集成不同系统是实际应用中最重要的事情之一,而软件供应商常忽略这一点,声称自己的产品能满足所有需求。

存储和处理数据的系统从高层看分两类:

类别 含义 特征
记录系统(真相源) 持有数据的权威版本,新数据(如用户输入)首先记录在这里 每个事实恰好表示一次,通常是规范化的;与其他系统有差异时,按定义以它为准
衍生数据系统 对另一系统中已有数据转换或处理的结果,丢失后可从原始来源重新创建 缓存、非规范化的值、索引、物化视图、从用户日志衍生的推荐预测汇总;通常非规范化

衍生数据在技术上是冗余的,但对获得良好的只读查询性能往往至关重要;同一个源头可以衍生出多个数据集,从不同“视角”洞察数据。

关键点:大多数数据库、存储引擎和查询语言本质上既不是记录系统也不是衍生系统——数据库只是工具,区别不在工具,而在应用中的使用方式。并非所有系统都在架构中明确区分两者,但这种区分很有用:它明确了数据流——哪部分有哪些输入和输出、彼此如何依赖。梳理数据的衍生关系,可以把一个令人困惑的系统架构理清楚,这也是第三部分(批处理、流处理、数据系统的未来)贯穿始终的视角。

查看卡片与原书出处

数据密集型应用系统设计 · 第一章:可靠性、可伸缩性、可维护性

组合工具即成为系统设计者

数据库、消息队列、缓存过去被当作差异显著的不同类别,作者却把它们统称为数据系统,理由有二:

  1. 类别边界越来越模糊——Redis 这样的数据存储可以当消息队列用,Kafka 这样的消息队列有类似数据库的持久保证;
  2. 单个工具已无法满足应用的全部需求,工作被拆成多个工具各自高效完成的任务,再由应用代码缝合起来。

例如把缓存(Memcached)和全文搜索(Elasticsearch、Solr)从主数据库剥离出来后,让缓存和索引与主数据库保持同步就成了应用代码的责任。对外的 API 隐藏这些细节,实际上你已经用通用组件搭出了一个新的专用数据系统,它可能需要提供某些保证(如写入时让缓存作废或更新,使客户端看到一致的结果)。

结论是:组合使用这些工具的开发者,同时也是数据系统设计者,要回答数据出错时如何保证正确完整、部分降级时如何保持性能、负载增加时如何扩容、什么样的 API 才好等问题。影响设计的还有团队技能、历史遗留、交付时限、风险容忍度和监管约束。全书聚焦其中三个普遍问题:可靠性、可伸缩性、可维护性。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

没有万能数据工具

存储并查询数据这件事从来没有唯一正解:存储引擎、复制方式的每种权衡都对应不同环境;在单个软件里做到一切几乎注定效果差。第一个挑战是弄清软件与适用环境的对应关系。第二个挑战更难回避:同一份数据可能既要支持 OLTP 查询,又要全文搜索、分析、机器学习、缓存和通知,没有单一软件能覆盖,只能组合多个系统。“99% 的人只需要 X”这类说法,更多反映的是说话者自己的经验范围。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

全序广播的伸缩限制

小系统构建[[全序广播]]所说的全序日志完全可行,但规模增长后会遇到四种限制。吞吐超出单机,日志须分区,分区间顺序不明。多数据中心各有主库,跨数据中心的事件顺序未定义。微服务各自持有状态,服务间事件顺序未定义。客户端本地保存状态、离线工作时,客户端与服务器看到的顺序可能不同。全序广播等价于共识,而多数共识算法假设单节点能处理整个事件流;突破单机吞吐、适应地理分布的共识算法仍是开放问题。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

捕获因果的排序

[[全序广播的伸缩限制]]下,无因果关系的并发事件可任意排序,同一对象的更新路由到同一分区即可有序。但因果关系可能很隐蔽:一方分手后把前任移出好友,再向好友抱怨,期望前任看不到。若好友关系与消息存在不同地方,通知服务可能先处理消息再处理解除好友,把通知推给前任。这本质上是[[三种流连接]]的时序问题。应对思路有:逻辑时间戳;给决策事件赋 ID 供后续引用;冲突解决算法。目前没有简单通用的答案。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

Unix与关系数据库

Unix 与关系数据库走了相反的路线。Unix 给程序员一层很薄的硬件抽象,管道和文件只是字节序列;关系数据库给开发者高级抽象,一句声明式查询就能调用优化器、索引、连接算法等整套设施。两种哲学从 70 年代起一直在博弈。CREATE INDEX 扫描一致性快照、排序、写出索引,再补上后续写入,与建立新从库、CDC 初始快照高度相似。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

联合与分拆数据库

如果没有任何单一存储格式或数据模型能满足所有访问模式,把不同存储处理工具组合成一个有凝聚力的系统有两条路径。联合数据库(也叫多态存储)为各种底层存储引擎和处理方法提供统一的查询接口——PostgreSQL的外部数据包装器就是这种模式:需要专用能力的应用仍可直接访问底层引擎,想跨系统组合数据的用户则走联合接口,这条路径延续了单一集成系统的关系型传统,接口优雅但实现复杂,解决的是跨系统的只读查询问题。分拆数据库则反过来解决同步写入的问题:单个数据库里创建一致的索引是内置功能,而组合多个存储系统后,需要确保所有数据变更都可靠地到达所有正确位置(哪怕出现故障)——数据库内置的次级索引、复制日志、物化视图这些功能,与用批处理和流处理构建的衍生数据系统本质上是同一类东西,分拆的思路正是通过变更数据捕获和事件日志,把数据库内置的索引维护功能拆解成能跨不同技术、以同步写入方式协同工作的独立组件,遵循的是Unix”小工具做好一件事、靠统一低层API通信、用高层语言组合”的传统。同步写入多个存储系统比联合只读查询更难,因此分拆这一侧是工程重心。

结构图:

flowchart TD
    A[组合多种存储处理工具] --> B[联合数据库: 统一读取]
    A --> C[分拆数据库: 统一写入]
    B --> D[统一查询接口跨底层引擎,如PostgreSQL外部数据包装器]
    C --> E[基于CDC与事件日志,把索引维护拆成跨技术的可靠写入组件]
    D -.关系型传统,实现复杂但优雅.-> F[解决跨系统只读查询]
    E -.Unix传统,小工具+统一接口+高层组合.-> G[解决跨系统同步写入,更困难的工程问题]
查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

分拆追求广度

即使[[联合与分拆数据库]]中的分拆成为主流,也不会取代数据库:流处理器的状态、批流输出的查询仍需数据库,MPP 数据仓库在探索性分析上依然出色。运行多种基础设施有代价,活动部件越少越好;集成产品在目标负载上往往性能更好、更可预测,为用不到的规模构建系统是过早优化。分拆不求在单一负载上胜过数据库,而是通过组合覆盖更广的负载,求广度而非深度。若一项技术能满足全部需求,就直接用它。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

应用代码即衍生函数

衍生数据集都经过某种转换函数:二级索引按字段排序,全文索引经分词、词干化构建倒排索引,机器学习模型经特征提取衍生。二级索引常见到被内建为 CREATE INDEX;自定义衍生逻辑却是许多数据库的弱项,触发器、存储过程更像事后补丁。数据库也不擅长依赖管理、滚动升级、监控等现代部署需求。所以让一部分系统专做持久存储、另一部分专跑应用代码更合理,无状态服务加数据库正体现了这种分离。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

围绕数据流构建应用

数据库长期被当作可通过网络同步访问的共享变量,应用只能轮询,无法订阅变更。数据流视角关注状态、状态变更与处理变更的代码之间的互动,是[[三种流连接]]的延伸。以汇率为例:微服务方式下,处理购买时要同步查询汇率服务;数据流方式下,订单处理代码预先订阅汇率变更流,维护在本地库中,处理时只查本地。这把跨服务请求换成本地查询,更快也更稳健。代价是连接依赖时间,重新处理订单时须能还原当时的汇率。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

及时性与完整性

“一致性”混淆了两种需求。及时性:用户看到最新状态,违反是暂时的,等待重试即可,[[线性一致性的定义]]是实现它的强手段。完整性:没有损坏、丢失或矛盾;违反是永久的,必须显式修复。口号是:违反及时性是最终一致,违反完整性是永无一致。多数应用中完整性重要得多:信用卡交易晚一天出现不稀奇,余额对不上才是灾难。ACID 把两者打包在一起;事件流系统把它们分开,完整性才是核心关切。

查看卡片与原书出处

微服务与事件驱动架构 · 为什么用事件驱动型微服务

事件流作为单一事实来源

事件驱动架构把数据沟通结构做成独立正式的基础设施:核心业务数据被发布为一系列持久事件流,构成组织内”发生过什么”的唯一权威叙事,即单一事实来源。生产者只负责发布定义良好的数据,不提供查询接口;查询、建模、跨流整合的职责完全转移到消费者一侧,各消费者按自己的需要建自己的模型。发散:这是把”读”和”写”的关注点从代码模块层面拉高到整个企业的数据流动层面,践行的仍是[[按业务边界拆分微服务]]中的高内聚低耦合。

查看卡片与原书出处

微服务与事件驱动架构 · 事件驱动型微服务基础

微服务单一写原则

每个事件流应有且只有一个生产者微服务拥有写权限,这个微服务是流入该流的每个事件的唯一所有者。这条约束换来数据血缘清晰:事件出问题只需查它唯一的生产者,不必在多个写入方之间排查。代价是当多个服务都想为同一份数据贡献信息时,不能简单地共写一个流,要么各自产出独立流再联结,要么把写入逻辑收敛到一个专门服务里。发散:这是把数据库设计里”避免多点写入同一张表”的原则搬到了事件流层面,道理相通。

查看卡片与原书出处

微服务设计原理与架构 · 服务建模方法

数据去中心化

微服务不适合让所有服务共享一套规范化数据库模型,因为共享数据会让服务在发布、修改和故障上重新耦合。更稳妥的做法是让服务拥有自己的数据边界,通过接口、事件或复制同步必要事实。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

写路径与读路径

数据流系统创建并维护衍生数据集(搜索索引、物化视图、预测模型)的过程称为写路径——数据一旦写入系统,无论有没有人查询,都会立刻经过批处理/流处理的多个阶段完成更新;而当用户发起请求、需要从衍生数据集中读取(也许还要做些额外处理)来构建响应,走的是读路径——只有当有人请求时才会发生。写路径类似函数式语言里的立即求值,读路径类似惰性求值;衍生数据集正是写路径和读路径相遇的地方,代表了”写入时预先做多少工作”与”读取时临时做多少工作”之间的权衡。全文搜索索引就是典型例子:没有索引,搜索退化成扫描全部文档(写路径零开销,读路径开销巨大);为所有可能查询预先算好结果,读路径开销趋近于零,但可能查询集合无限大,写路径开销不可接受;折中方案是只为一组固定的高频查询预先算结果(这就是缓存,也可称物化视图,因为底层数据变化时需要更新这些预算结果),不常见的查询仍走索引。由此看,索引不是唯一的写读边界;缓存常见结果、无索引扫描小数据集,都是同一条边界在不同位置的取舍——它们的作用都是通过在写路径上多做工作,换取读路径上少做工作。

结构图:

flowchart LR
    A[写入数据] -->|写路径: 立即求值,不管是否有人查询| B[衍生数据集]
    B -->|读路径: 惰性求值,仅在被请求时发生| C[用户响应]
    D[无索引扫描: 写路径零开销] -.边界左移.-> E[读路径开销大]
    F[全量预计算: 写路径开销不可接受] -.边界右移.-> G[读路径开销趋零]
    H[索引/缓存/物化视图: 折中] -.边界居中,预先算好高频结果.-> I[写路径多做,读路径省事]
查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

有状态离线客户端

传统 Web 应用假设客户端无状态,浏览器读一次数据后对变化一无所知,除非轮询。单页应用与移动应用有了本地状态,重新点燃了离线优先:尽量用本地数据库工作,联网时后台同步。此时设备状态可视为服务器状态的缓存。EventSource、WebSocket 让服务器主动推送变化,相当于把[[写路径与读路径]]中的写路径延伸到终端设备。离线重连不丢消息,则可沿用[[消费者偏移量]]的技术。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

读也是事件

写入通常经事件日志进行,读取则是直接发往存储节点的临时请求,但这不是唯一的设计。流处理器本就要为[[三种流连接]]维护状态,这份状态也可以供外部查询,使流处理器成为简单的数据库。进一步,读请求本身也可表示为事件流,与写事件一起送入流处理器,相当于在查询流与数据库之间做流表连接。一次性读取用后即弃,订阅式读取则与过去和未来的事件建立持久连接。记录读事件还能追踪因果与数据来源。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems

查询式捕获的取舍

查询式捕获先全量导出,再以updated_at或递增ID筛选变化,也可用定制查询、视图隐藏内部结构。代价是生产查询负载、轮询延迟、硬删除不可见和中间状态合并。递增键适合不可变新增行,但并不天然代表并发事务提交顺序;实际游标必须防止晚提交的小ID被高水位跳过。快照与增量交接、重叠轮询和软删除都需明确设计。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems

日志捕获的恢复边界

日志式CDC从持久变更日志提取增删改,初始日志往往不含全部历史,因此先做快照,再衔接有覆盖的日志位置。检查点允许故障后重读,至少一次重复可由按键更新的幂等性吸收。它减少重复扫描,却仍需评估快照、日志保留、连接器和读取开销;若恢复时所需日志已清理,检查点本身不能补回数据。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems

原始CDC会泄漏模型

原始数据库变更流公开表和字段,会使消费者依赖源系统内部范式、外键与DDL。源库的合法字段修改也可能违反公共事件契约。隔离办法是由数据所有者输出公共业务模型,或把原始流置于私有空间,通过专用转换服务形成公共事件;不能把每个消费者自行重建源数据库模型当作解耦成功。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems

触发器捕获的维护成本

数据库触发器可在插入、更新或删除时原子写入审计/变更表,适合缺少现代日志接口、难改应用的遗留系统。它内联执行,会增加数据库负载;表结构和业务修改还须同步更新触发逻辑。若无法在触发器中验证公开schema,事后验证仍会产生不可发布记录风险。表越多,配置、测试和变更管理成本越高。

查看卡片与原书出处

OpenShift在企业中的实践 PaaS DevOps微服务 · 基于OpenShift构建云原生

CDC把读压力降为一份

多个下游都要感知同一张表的变化时,各自轮询会让数据库压力随消费者数量放大。CDC 由一个组件监控行级变更,以统一格式写入可重复消费的持久化日志(如 Kafka),下游各自订阅、断开后可从原位置续读。数据库只承受一份监控压力。注意 Kafka 只在单分区内有序,投递通常是至少一次,消费者需去重或幂等,并管理事件格式演进。

查看卡片与原书出处

Principles of Software Architecture Modernization · Data Migrations

CDC从事务日志追踪增量变化

CDC 读取源库变更日志,把插入、更新和删除传往目标,可在大数据量和低停机要求下追平增量。方案仍需处理顺序、重复、映射和目标消费进度。

查看卡片与原书出处

亿级流量网站架构核心技术 · 队列术

Canal伪装从库

MySQL 主从复制过程:主库把变更写入 binlog,从库的 IO 线程订阅 binlog 写入 relay log,SQL 线程重放 relay log。Canal 把自己伪装成从库订阅主库 binlog,业务代码无需改动就能按顺序捕获所有变更,可用于增量刷新缓存(出错时可回退到某个 binlog 位置重放),或统一下发商品变更等任务通知。

结构图:

flowchart LR
  A["客户端写入master"] --> B["master记录binlog"]
  B --> C["slave的I/O线程订阅binlog<br/>写入本地relay log"]
  C --> D["slave的SQL线程重放relay log<br/>完成主从数据同步"]
  B -.Canal伪装成slave同样订阅binlog.-> E["Canal Server<br/>无需改动业务代码"]
  E --> F["Canal Client消费变更事件"]
  F --> G["同步缓存 / 数据异构 / 下发任务通知下游系统"]
查看卡片与原书出处

大数据技术体系详解_原理、架构与实践 · 关系型数据的收集

CDC四种增量数据捕获方案的权衡

当只需要获取数据库”从某时刻起发生了什么变化”(增量数据)而非每次全量扫描时,业界总结出四种技术方案,权衡各不相同。定时扫描整表:周期性把整张表读一遍再比对差异,实现最简单但性能低效、延迟高,数据量越大越不可行。写双份数据:在业务代码里,每次更新数据库的同时手动再发一份变更消息,问题是业务逻辑和数据同步逻辑耦合在一起,一致性难以保证(一旦忘记加、或两次写入不是原子的,两边就会不一致),且不利于系统演化。利用触发器机制:让数据库在表变化时自动触发一段逻辑发送变更,避免了业务代码改造,但触发器管理复杂、且会对数据库主库性能产生额外压力。解析事务/提交日志(如MySQL的binlog):不改业务代码、也不使用触发器,但仍需承担日志读取、保留和消费开销;它模拟主备复制协议,从数据库天然产生的复制日志中还原出所有变更记录,这是书中列举的高效方案(阿里Canal、LinkedIn Databus均采用此思路)。这四种方案的本质分歧在于”变更捕获的位置”——日志解析减少业务代码侵入,但仍需权衡数据库日志、消费端开销与实现复杂度;离数据源越远(定时扫描全表)实现越简单,但性能和实时性代价越大。可迁移启发:设计任何”感知数据变化”的系统时,可以用这个坐标(侵入性 vs 实现复杂度 vs 实时性)去比较候选方案,而不是想当然地选”最省事”的定时轮询或”看起来最直接”的业务层双写。

结构图:

flowchart TB
  A["CDC四种方案<br/>(按捕获位置比较)"]
  A --> B["定时扫描整表<br/>实现最简单/性能低效/延迟高"]
  A --> C["业务层写双份数据<br/>无需额外组件/一致性难保证/耦合业务代码"]
  A --> D["数据库触发器<br/>无需改代码/管理烦琐/影响数据库性能"]
  A --> E["解析事务/提交日志(binlog)<br/>无需业务双写或触发器/需考虑日志和消费开销<br/>如Canal/Databus"]
查看卡片与原书出处

大数据日知录_架构与算法 · 第7章 数据通道

日志捕获从已提交变化建立通道

先提交源库变更,再从其事务日志提取相关更新,可避免应用独立双写通知的缺口,使通道以源库的提交记录为依据。日志格式、Schema演化、解析版本及保留期由此成为依赖。捕获源端提交不意味着外部消费者业务与偏移量天然原子,端到端正确性仍需额外设计。

查看卡片与原书出处

微服务与事件驱动架构 · 将事件驱动架构与现有系统集成

CDC框架是迁移起点而非终点

用变更数据捕获(CDC)框架把遗留系统数据自动同步进事件流,是启动事件驱动迁移最快的方式,但容易被误当成终点:团队看到数据已”发布”就满足了,继续让底层应用对事件无感知,新需求也只是找连接器团队加字段。这埋下两个问题——两个团队因此产生跨团队依赖(源表一改字段,连接器可能悄悄崩掉,只有连接器团队能发现);组织错把”数据已解放”当成”已经事件驱动”,放弃把应用重构成原生事件驱动服务的动力。CDC工具只是帮助启动过程,不是终点。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform

CDC只提取新增与变更

变更数据捕获(CDC)只识别上次摄取后源系统新增或修改的记录,避免每次全量搬运。优先确认源系统能否暴露变更日志或其他可靠增量标记;批次差分只能在数据量和删除识别等边界可控时使用。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems

数据解放的迁移边界

数据解放把一个系统持有、其他领域需要的数据发布为公共事件流,用契约代替直接数据库依赖。遗留系统可能仍依靠本地库备份恢复,流只是其最终一致的外部表达;需验证物化结果与源状态一致。迁移目标是可信、独立可访问的数据,不能仅因部署CDC就宣称所有写入和恢复均已围绕事件流运行。

查看卡片与原书出处

Principles of Software Architecture Modernization · Anti-Patterns: Lack of Isolation

数据库隔离包含资源层

同一数据库服务器上的独立 schema 可以隔开表与数据,但 CPU、容量和故障域仍共享;报表查询占满资源时,关键交易服务也会受影响。评估数据库隔离需同时检查数据边界和基础设施边界。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 899 数据仓库解决业务系统数据孤岛和指标口径不统一 路径上下文 决胜B端:驱动数字化转型的产品经理 · 14.2 中型企业的应用架构 理解等级:未标注
  • 展开或收起下级: 1766 事件是事实来源 路径上下文 复杂软件设计之道:领域驱动设计全面解析与实战 · 事件溯源 理解等级:未标注
    • 展开或收起下级: 1766.d 投射连接读写 路径上下文 复杂软件设计之道:领域驱动设计全面解析与实战 · 事件溯源 理解等级:未标注
  • 展开或收起下级: 1769 CAP细粒度化 路径上下文 大数据日知录_架构与算法 · 第2章 数据复制与一致性 理解等级:中级
  • 展开或收起下级: 1777 流式常驻计算 路径上下文 大数据日知录_架构与算法 · 流式计算 理解等级:未标注
  • 展开或收起下级: 1846 演进式数据库设计的三原则 路径上下文 演进式架构(原书第2版) · 演进式数据 理解等级:未标注
  • 展开或收起下级: 1980 事件建模范式针对状态迁移建模 路径上下文 解构领域驱动设计 理解等级:未标注
    • 展开或收起下级: 1980.z 事件流化跨界为本地 路径上下文 解构领域驱动设计 理解等级:未标注
      • 展开或收起下级: 1980.z.1 耐久事件连接服务 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
        • 展开或收起下级: 1980.z.1.a 复制数据的隐藏耦合 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
          • 展开或收起下级: 1980.z.1.a.1 数据解放的迁移边界 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:中级
            • 1980.z.1.a.1.a 查询式捕获的取舍 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:高级
            • 1980.z.1.a.1.b 日志捕获的恢复边界 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:高级
            • 展开或收起下级: 1980.z.1.a.1.c 原始CDC会泄漏模型 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:中级
              • 1980.z.1.a.1.c.1 事件化隔离内部关联 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:中级
            • 展开或收起下级: 1980.z.1.a.1.d Outbox事务避免漏事件 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:高级
              • 1980.z.1.a.1.d.2 触发器捕获的维护成本 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:高级
            • 1980.z.1.a.1.e Sink与平台责任划分 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Integrating Event-Driven Architectures with Existing Systems 理解等级:中级
        • 展开或收起下级: 1980.z.1.d 基础客户端的能力边界 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Basic Producer and Consumer Microservices 理解等级:中级
          • 1980.z.1.d.1 Sidecar适配遗留数据 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Basic Producer and Consumer Microservices 理解等级:中级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.c 源系统决定摄取模式 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 2275.as.6.c.1 CDC只提取新增与变更 主题成员 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:中级
          • 2275.as.6.c.2 摄取工具按连接与控制选 主题成员 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:高级
        • 2275.as.6.e ETL与ELT改变转换位置 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
        • 展开或收起下级: 2275.as.6.f 数据产品面向消费 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
          • 2275.as.6.f.1 数据消费需要不同接口 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
        • 2275.as.6.h 数据转换把原料变成果 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.h 可维护性三支柱 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
      • 展开或收起下级: 2280.h.1 组合工具即成为系统设计者 主题成员 数据密集型应用系统设计 · 第一章:可靠性、可伸缩性、可维护性 理解等级:初级
        • 展开或收起下级: 2280.h.1.a 数据工程的定义 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 展开或收起下级: 2280.h.1.a.14 信任是数据服务之本 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:初级
            • 2280.h.1.a.14.i 联邦查询与数据共享 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:中级
    • 展开或收起下级: 2280.j 索引以写入换读取 路径上下文 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
      • 展开或收起下级: 2280.j.12 物化视图与数据立方体 路径上下文 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
        • 2280.j.12.a 视图、联邦与虚拟化 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第8章 查询、建模和转换 理解等级:高级
    • 展开或收起下级: 2280.r 无界输入的连锁反应 路径上下文 数据密集型应用系统设计 · 流处理 理解等级:未标注
      • 展开或收起下级: 2280.r.9 变更数据捕获 路径上下文 数据密集型应用系统设计 · 流处理 理解等级:未标注
    • 展开或收起下级: 2280.s 没有万能数据工具 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.2 全序广播的伸缩限制 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.3 捕获因果的排序 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.8 Unix与关系数据库 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.9 联合与分拆数据库 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.10 分拆追求广度 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.11 应用代码即衍生函数 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.12 围绕数据流构建应用 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.13 写路径与读路径 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.14 有状态离线客户端 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.15 读也是事件 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.16 端到端原则与幂等 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.17 日志实现唯一性约束 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.18 及时性与完整性 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.19 宽松地解释约束 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.20 信任但验证 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.21 为可审计性而设计 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
  • 展开或收起下级: 2448 同一特性在不同时代从优点变缺点 路径上下文 OpenShift在企业中的实践 PaaS DevOps微服务 · 基于OpenShift构建云原生 理解等级:未标注
    • 2448.b CDC把读压力降为一份 主题成员 OpenShift在企业中的实践 PaaS DevOps微服务 · 基于OpenShift构建云原生 理解等级:未标注
  • 展开或收起下级: 2662 数据湖也要治理 路径上下文 云原生数据中台:架构、方法论与实践 2021 · 数据湖与数据仓库 理解等级:未标注
    • 2662.a 湖仓分工 主题成员 云原生数据中台:架构、方法论与实践 2021 · 数据湖与数据仓库 理解等级:未标注
  • 2664 流水线管全流程 主题成员 云原生数据中台:架构、方法论与实践 2021 · 数据流水线管理 理解等级:未标注
  • 展开或收起下级: 2720 何时适合用队列 路径上下文 亿级流量网站架构核心技术 · 队列术 理解等级:未标注
    • 展开或收起下级: 2720.a 队列四大用途 路径上下文 亿级流量网站架构核心技术 · 队列术 理解等级:未标注
    • 2720.g Canal伪装从库 主题成员 亿级流量网站架构核心技术 · 队列术 理解等级:未标注
  • 展开或收起下级: 2721 详情页架构三代 路径上下文 亿级流量网站架构核心技术 · 构建需求响应式亿级商品详情页 理解等级:未标注
    • 2721.a 数据闭环四步 主题成员 亿级流量网站架构核心技术 · 构建需求响应式亿级商品详情页 理解等级:未标注
  • 展开或收起下级: 2740 无终态改用查询分离 路径上下文 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 查询分离 理解等级:未标注
    • 2740.c 标识位承载同步状态 主题成员 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 查询分离 理解等级:未标注
  • 展开或收起下级: 2752 跨服务IN查询拖垮核心服务 路径上下文 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 数据同步 理解等级:未标注
    • 2752.c 整表同步代替字段冗余 主题成员 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 数据同步 理解等级:未标注
    • 2752.d 核心逻辑不靠同步数据 主题成员 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 数据同步 理解等级:未标注
  • 2776 全量与增量采集 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术开发 理解等级:未标注
  • 展开或收起下级: 3122 业务库与分析平台双向搬运数据 主题成员 大数据技术体系详解_原理、架构与实践 · 关系型数据的收集 理解等级:中级
  • 展开或收起下级: 3333 模块化编程按功能隔离 路径上下文 Principles of Software Architecture Modernization · What’s Wrong with Monoliths? 理解等级:初级
    • 展开或收起下级: 3333.i 服务数据仅经公开接口访问 路径上下文 Principles of Software Architecture Modernization · Principles of Proper Services 理解等级:中级
      • 3333.i.3 远程读取保边界增依赖 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
      • 3333.i.4 列复制换取本地读取 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
      • 展开或收起下级: 3333.i.5 三种缓存共享方式 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:中级
        • 展开或收起下级: 3333.i.5.a 复制缓存保留单一写者 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
          • 3333.i.5.a.1 复制缓存有启动容量边界 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
          • 3333.i.5.a.2 专家资料缓存先算规模 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
  • 3359 数据库隔离包含资源层 主题成员 Principles of Software Architecture Modernization · Anti-Patterns: Lack of Isolation 理解等级:高级
  • 3385 数据库隔离要看实际读写 主题成员 Principles of Software Architecture Modernization · Assessments 理解等级:高级
  • 3421 数据拆分优先识别独立读写集合 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 3424 复制切换时明确唯一写入真源 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 3425 CDC从事务日志追踪增量变化 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:中级
  • 3427 数据迁移可先搬再改或同步重塑 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 3428 拆分单体数据先迁写者再迁读者 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 展开或收起下级: 3820 平台加速组织学习 路径上下文 数据之美 · 信息平台和数据科学家的兴起 理解等级:未标注
  • 展开或收起下级: 3824 目录承载可扩展发现 路径上下文 数据之美 · 数据发现数据 理解等级:未标注
  • 展开或收起下级: 3867 开放标识符支持集成 路径上下文 数据之美 · 美化真实世界中的数据 理解等级:未标注
    • 3867.a RDF连接不同资源 主题成员 数据之美 · 美化真实世界中的数据 理解等级:未标注
  • 展开或收起下级: 3870 开放服务促进跨领域协作 主题成员 数据之美 · 美化真实世界中的数据 理解等级:中级
  • 4277 实时平台抽象 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:中级
  • 展开或收起下级: 4278 统一数据入口 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:高级
  • 展开或收起下级: 4355 逐层扩容会迁移瓶颈 路径上下文 Fundamentals of Software Architecture · Space-Based Architecture Style 理解等级:中级
  • 5105 关联键扩展远端数据 主题成员 RESTful Web API Patterns and Practices Cookbook Connecting and Orchestrating Microservices and Distributed Data (Mike Amundsen) · 分布式数据 理解等级:中级
  • 展开或收起下级: 5366 数据拆分的相反驱动 路径上下文 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 拆分操作数据 理解等级:高级
    • 展开或收起下级: 5366.a 数据域保留内部关系 路径上下文 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 拆分操作数据 理解等级:高级
      • 展开或收起下级: 5366.a.3 共享数据域扩大变更边界 路径上下文 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 数据所有权与分布式事务 理解等级:高级
        • 5366.a.3.a 共享数据域以表为契约 主题成员 Software Architecture The Hard Parts Modern Trade-Off Analyses for Distributed Architectures (Neal Ford, Mark Richards, Pramod Sadalage etc.) · 分布式数据访问 理解等级:高级
  • 展开或收起下级: 5404 大数据取决于处理能力边界 路径上下文 大数据日知录_架构与算法 理解等级:中级

未编号或编号待整理

来源书籍

来源书籍

微服务实战

Skill 版本:v23

书籍类型:未标注

389 张卡片

来源书籍

数据之美

数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

Skill 版本:v11

书籍类型:未标注

类别清单尚未核对

229 张卡片

来源书籍

高可用可伸缩微服务架构

高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。

Skill 版本:v15

书籍类型:工程实践

清单覆盖 6/7

379 张卡片

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书