来源书籍

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare)

Skill 版本:v23 110 张卡片

Adam Bellemare · O’Reilly Media, Inc. · 2020-08 · First Edition; First Release 2020-07-02 · ISBN 9781492057895

全书导读

本书讨论如何把组织中的共享数据变成可信、可重放的事件,使小型业务服务独立演进。它从组织边界、事件与数据契约出发,再进入遗留集成、流处理状态与时间、不同规模的处理框架,最后处理同步接口、平台、测试和运行。它适合已有跨团队数据依赖、希望理解事件架构代价的工程读者。具体工具支持范围保留2020年版本背景,不作为今天的产品选型结论。

全书主线

事件代理保存事实,生产者定义并承担事实语义,消费者按自己的需要建立状态。三者共同把访问数据的需求与拥有数据的实现分开。分离依赖的同时,系统要承担模式演进、重放、时间、交付语义、状态恢复和运维成本。后续章节逐项处理这些成本,不能把“改成异步”视为完成架构迁移。

前言 Preface

前言把事件驱动微服务的意义放在组织如何获得与使用数据上。耐久、可重复消费的事件使服务不必在每次需要信息时调用数据拥有者;容器和按需资源则降低独立服务运行的门槛。作者说明本书将组织沟通、事件系统和应用模式连起来讨论,提醒读者这是一套数据与服务的协作方式。排版约定、出版联系方式和致谢不另取材。

第01章 Why Event-Driven Microservices

事件驱动微服务是围绕一个业务职责独立运行的小应用。它消费事实、执行逻辑,再发布结果或提供同步接口。与消费后即删除的任务消息不同,本书依赖的事件可以长期保存,由多个服务反复读取。因此价值不只是把调用改为异步,而是让组织中的业务数据成为共享、可重建的通信基础。

领域是企业面对的问题空间,子领域是其中较小的问题;领域模型则是为解决问题而建立的抽象。限界上下文规定模型、数据、输入输出和业务规则适用的边界。服务围绕业务边界划分,团队才可能独立完成需求;按数据库层、接口层划分责任,会使一个业务变更跨越多个排期与所有者。保持内聚和低耦合有时需要重复逻辑或保存相似数据,不能只按代码是否重复评价架构。

组织存在三种相互影响的沟通结构:业务结构分配人员与目标,实现结构把规则固定成代码和数据,数据结构负责在实现之间传播信息。Conway定律说明系统会反映组织沟通边界。原书用一个团队增加功能并随后拆分的例子说明:数据锁在原服务中时,独立服务意味着额外复制、同步和运维成本;继续扩大旧服务又让未来拆分更难。共享数据库、直接接口和定时复制可以暂时缓解问题,却可能暴露内部模型、形成耦合并产生陈旧副本。

事件流把数据生产和所有权与数据访问分开:生产者发布可信事实,消费者自己保存、组合和查询所需数据。事件流本身不承担消费者的查询业务。团队重组后,共享领域数据仍可供新服务读取,但这要求组织认可事件的权威性,并提供低成本创建和管理服务的能力。

同步请求依然适合需要即时回答的用户界面、认证和第三方接口。同步链路容易追踪,却可能形成调用扇出、关联扩容、故障传播和版本协调。异步与同步的取舍应服从问题;事件驱动架构通常仍是混合架构。

耐久事件连接服务展开这一机制的用途和边界。

业务边界决定服务职责展开这一机制的用途和边界。

组织的三种沟通结构展开这一机制的用途和边界。

复制数据的隐藏耦合展开这一机制的用途和边界。

消费者拥有查询模型展开这一机制的用途和边界。

同步服务的耦合成本展开这一机制的用途和边界。

原书依据 · 6 处

第02章 Event-Driven Microservice Fundamentals

本章先把两个观察尺度分开:微服务拓扑描述一个服务内部如何摄取、转换、保存与输出事件;业务拓扑则描述多个服务、事件流和接口如何共同完成业务。服务可以同时是生产者和消费者,也可以通过同步接口暴露从事件建立的状态。

事件是发生过的事实。常见键值表示中,值保存事实内容,键用于身份、分区路由和聚合。无键事件记录独立发生;实体事件保存某个对象在特定时刻的完整状态,最新一条可用于代表当前对象;有键但非实体的事件则可能是一连串用户行为,不能误把最后一条当作全部状态。

实体事件按顺序应用到键值表,会把每个键更新成最新值,这就是流与表的对偶:表的变更能成为流,流也能物化为表。删除用值为null的墓碑表达。日志压缩只保留键的最新记录,可降低空间和恢复读取量,但会丢失历史,墓碑清理还必须与消费者能完成删除的时间配合。单写者原则让每个流只有一个微服务拥有写入权,便于追溯权威来源;这指逻辑服务,可以有多个受协调实例。

事件代理承接可扩展、耐久、可重放的日志。流分区提供并行,分区内顺序提供局部确定的读取顺序;不可变记录以offset定位,消费进度落后形成lag。独立消费组各自读取完整逻辑流,组内分配分区实现扩容,因此活跃并行实例受分区数限制。队列按任务分配记录,确认后不再提供给其他消费者,重试和并行会改变处理顺序。它适合分摊任务,却不能单独满足所有服务独立重建状态的需求。具体产品功能是2020年书内背景,笔记只保留机制。

服务运行还需要容器或虚拟机、统一部署和资源管理。容器共享宿主内核,启动轻、依赖隔离方便,内核隔离边界与完整虚拟机不同;虚拟机通常提供独立操作系统并有更高资源成本。编排平台应支持垂直和水平扩缩,多个共同组成服务的组件应作为可协调的部署单元。

事件代理、部署流水线、日志、监控和运行平台共同构成微服务税。集中支付可以提供统一能力,每队重复建设则容易工具碎片化。小组织若无法承担平台投入,模块化单体可能更合适。

微服务与业务拓扑展开这一机制的用途和边界。

事件键与实体状态展开这一机制的用途和边界。

流表对偶与物化展开这一机制的用途和边界。

墓碑与日志压缩展开这一机制的用途和边界。

事件流的单写者展开这一机制的用途和边界。

事件代理的必要能力展开这一机制的用途和边界。

消费组与队列的区别展开这一机制的用途和边界。

容器与虚拟机边界展开这一机制的用途和边界。

集中支付微服务税展开这一机制的用途和边界。

原书依据 · 9 处

第03章 Communication and Data Contracts

数据契约同时规定事件长什么样,以及什么业务条件触发它。只有字段和类型相同,不能保证含义相同;触发逻辑悄悄变化也会破坏消费者的判断。显式schema把这些约定放到可检查的定义中,注释应解释单位、时间格式、字段意义和触发条件。隐式JSON结构或团队口耳相传的约定仍是契约,只是缺少受控检查;共享解析库也可能把语言、发布周期和版本耦合在一起。

前向兼容表示旧读者能读取新写者的数据,后向兼容表示新读者能读取旧写者的数据,完整兼容要求两者同时满足。长期重放需要考虑历史版本,不能把相邻版本兼容误当作所有版本任意兼容;实际范围取决于所选框架和兼容策略。生成代码可把模式变成语言对象并帮助检查类型和必填字段。消费时需要识别写入模式,再依演进规则转换为读者模式,字段默认值和忽略规则在这一过程发挥作用。

遇到无法兼容的领域变化,应先与消费者共同重新定义模型。实体长期存活,只让消费者同时解释新旧实体会转移语义责任;生产者更适合从源数据重建新格式实体,发布到新流,旧流保留用于追溯与验证。短期发生事件可以切新流后让消费者迁移,待旧流完全过期再退役。

好的事件应完整陈述单一业务事实,避免只通知“完成了”却把结果藏在别处。每流一种逻辑定义可减少消费者筛选和解释负担。字段宜使用足够窄且准确的类型:数值用数值、真假用布尔、有限选项用枚举,同时消费者要规定未知枚举值的处置。书中的电影/图书交互例子显示,给通用事件不断增加type和可空字段,会把三个清晰行为合成复杂联合体;业务变细时应重新检查单一目的。

事件尽量小,但不能为了小而删除必要事实。大文件不得不外置时,指针会引入载荷可变、保存和访问的一致性责任。提前邀请预期消费者参与设计,有助于发现他们真正需要的数据和不清楚的触发语义。原书对JSON不具完整兼容演进的提醒在这里按“必须配套显式schema及兼容策略”理解,不将传输编码名称本身当作充分判断。

契约包含事件触发语义展开这一机制的用途和边界。

显式模式降低解释分歧展开这一机制的用途和边界。

模式兼容的读写方向展开这一机制的用途和边界。

模式代码生成的边界展开这一机制的用途和边界。

破坏性实体变更迁流展开这一机制的用途和边界。

单流单一业务事实展开这一机制的用途和边界。

窄类型约束事件歧义展开这一机制的用途和边界。

类型字段隐藏多重职责展开这一机制的用途和边界。

事件完整性与大载荷展开这一机制的用途和边界。

原书依据 · 9 处

第04章 Integrating Event-Driven Architectures with Existing Systems

数据解放是识别跨领域需要的数据,并从既有系统发布为可消费事件流。它让新服务摆脱直接查源库或调用私有接口,但遗留系统往往仍以自身数据库为恢复依据,因此是渐进迁移:需要保证事件流最终可物化成与源数据一致的结果,而非假称所有系统已以流为唯一写入源。

查询式捕获先全量加载,再按更新时间或递增ID轮询,也能用视图、过滤和关联隐藏内部模型。它容易定制,却会漏掉硬删除和轮询间的中间状态,给生产库带来查询负载。轮询间隔必须允许前次工作结束,初始快照与增量交接也不能留空隙。更新时间、序号和事务提交是不同概念;原书的递增ID建议不能被当作并发事务提交顺序的保证。

日志式CDC从binlog或WAL等变更记录读取更新与删除。通常需要快照启动,并保证快照与日志的边界覆盖,再用检查点恢复读取。它能获得细粒度低延迟变更,但公开原始表结构会把范式化表、外键关系和DDL演进成本转给消费者。日志读取减少重复业务查询,并非没有任何数据库或基础设施开销。Debezium等具体产品支持范围是2020年的历史描述,不能当作当前选型清单。

Outbox把业务变更与待发送事件写入同一数据库事务,外部发布器成功发布后才删除待发送项。这样可避免只改业务状态却没留下事件;但发布确认后、删除前崩溃仍会重复,所以提供至少一次交付,消费者需幂等。Outbox不必一张源表对应一张:可直接写公开契约所需的反范式事件,或先写私有变更流,再由eventification服务组合User、Location、Employer等数据,发布完整公共实体。后一种服务也必须在关联对象变化时更新所有受影响用户。

在提交事务前验证并序列化事件,能让不兼容事件与业务修改一起回滚;提交后才验证,会留下已生效却无法发布的业务变化。前者提高一致性,代价是序列化影响业务延迟,格式错误会阻止业务完成。触发器也可在数据库内原子记录变化,适合难修改的遗留应用,但执行负载、测试、表数量和模式维护成本会增加,输出schema通常要事后验证。

有效的源表DDL并不必然是有效的公共schema变化。捕获表、应用模型和公开契约需要共同测试。将流落地到旧系统的sink可以替换点对点复制,同时保留旧应用使用方式;它独立维护消费进度。集中连接器平台降低起步成本,但源系统团队仍须对数据含义、顺序、延迟和正确性负责,平台团队负责框架运行。若把CDC当作终点,源团队对事件无感,耦合与跨团队维修会长期累积。

数据解放的迁移边界展开这一机制的用途和边界。

查询式捕获的取舍展开这一机制的用途和边界。

日志捕获的恢复边界展开这一机制的用途和边界。

原始CDC会泄漏模型展开这一机制的用途和边界。

Outbox事务避免漏事件展开这一机制的用途和边界。

事件化隔离内部关联展开这一机制的用途和边界。

提交前验证事件契约展开这一机制的用途和边界。

触发器捕获的维护成本展开这一机制的用途和边界。

源表变更不等于契约兼容展开这一机制的用途和边界。

Sink与平台责任划分展开这一机制的用途和边界。

原书依据 · 10 处

第05章 Event-Driven Processing Basics

一个基本事件服务循环摄取消费记录,执行业务逻辑,输出结果,再提交消费进度。无状态拓扑中,每条记录不依赖历史状态即可处理,因而实例失效后不需要重建本地业务状态;仍可能重放未提交进度的记录,输出和offset的故障窗口不能忽略。

Filter决定是否继续传递,Map可以改变键和值,MapValue只改值,自定义处理还可能访问状态或外部系统。改变键不仅是字段转换:下游若按新键关联或聚合,需要重新分区建立数据局部性。分支把不同情况路由到不同输出,例如错误流;合并把多个流变成一个公共领域表示,必须先定义一致契约,不能只因接口方便而混合不相容事件。

分区器确定键到分区的映射。重新分区可能改变键、分区数或分区算法,使同键记录汇到同一处。跨流关联还需要共分区:键含义与编码相符、分区算法和数量相同,并把相应分区交给同一实例。这样局部状态就能支持关联,而无需每条记录跨节点查询。

分区分配器在组成员变化时重新分配工作。轮询追求均匀数量,静态分配减少持有大状态实例的迁移,自定义分配可依据lag等信号。分区数均匀不代表负载相等,状态重建和停顿也是成本。不同代理把协调放在客户端或代理内部,具体实现属于书内时代背景;核心要求是所有权交接、共分区与可恢复消费进度。

消费处理与提交窗口展开这一机制的用途和边界。

无状态变换与分支合并展开这一机制的用途和边界。

重分区建立数据局部性展开这一机制的用途和边界。

共分区支撑本地关联展开这一机制的用途和边界。

分区分配的状态代价展开这一机制的用途和边界。

原书依据 · 5 处

第06章 Deterministic Stream Processing

确定性要求相同输入及相同业务规则重放时产生相同结果。实时消费与追赶历史时,墙钟、外部查询的返回值和跨流读取先后可能不同。offset只在单分区内描述位置,跨分区需要事件时间和调度规则。事件时间是发生时刻,代理摄取时间是接收时刻,消费者摄取和处理时间还取决于执行进度。保留可靠的事件时间更能重现业务发生顺序;时钟同步减少偏差,却不能建立没有误差的全局顺序。

原书以存款和取款分流的账户说明:若按轮询顺序先取10元存款、再取25元取款、最后取20元存款,会产生实际时间顺序中不存在的负余额与透支费。消费者需按业务时间跨流选择下个事件,同时处理乱序和迟到,不能只排序当前可见记录就假定所有早期事件已到达。分区内部仍按offset读取,后到的较早时间记录由迟到策略处置。

水位线向下游表示事件时间进度,用于判断窗口等操作何时可推进;多输入节点通常取各输入进度的最小值。它在实际系统中常是有假设的进度估计,不能消除迟到。stream time则以已处理事件的最大时间单调前进。Kafka Streams式子拓扑处理一条事件后推进时间,重新分区经代理形成新子拓扑;原书与重型框架内部shuffle作比较,具体框架行为需按版本理解。重分区应保留原事件时间,不用当前墙钟覆盖。

乱序指时间戳顺序与流位置不同;迟到是相对于消费者的截止规则,而非事件固有属性。多生产者、分区速度不均和网络断连后补发都可能造成迟到,甚至让实时结果与事后重放不同。滚动窗口不重叠,滑动窗口用固定跨度和步长,会话窗口由不活跃间隔划界。窗口需在延迟、保存状态和完整性之间选择:丢弃、等待后输出,或先输出并在宽限期内更正。金融记录等关键事实不能只因过期就悄悄丢弃,应有补偿与调查路径;有限窗口策略不等于业务可以永远忽略事实。

重放前要确定起始范围与状态:仅重置offset但保留旧聚合状态会重复累计,从不完整历史开始也会漏余额。还需估算时间、I/O、下游输出和资源配额,识别邮件等不可重复的副作用。能够按事件时间重算核心模型,并不意味着现实通知应再次发生。

确定性的输入边界展开这一机制的用途和边界。

事件时间与处理时间展开这一机制的用途和边界。

跨流乱序误收透支费展开这一机制的用途和边界。

跨流时间调度与迟到补正展开这一机制的用途和边界。

水位线协调时间进度展开这一机制的用途和边界。

流时间与重新分区展开这一机制的用途和边界。

乱序与迟到的区别展开这一机制的用途和边界。

三类时间窗口展开这一机制的用途和边界。

迟到结果的三种策略展开这一机制的用途和边界。

重放要隔离现实副作用展开这一机制的用途和边界。

原书依据 · 10 处

第07章 Stateful Streaming

状态使事件服务能够基于历史作出当前决定。物化状态是输入事件的投影;状态存储则保存当前模型和中间计算。内部存储与服务实例同生共灭,通常按所持分区隔离数据,分区转移时丢弃旧所有权状态并恢复新分区。全局内部表则在每个实例保存整份小型维表,适合查询,若每份副本都驱动同一业务输出,就可能重复行动。

Changelog记录状态变化,可直接恢复先前计算结果,避免重算全部原始输入。压缩后保存最新键值适合恢复当前状态。内部磁盘访问通常比网络访问快,计算与状态一起扩容也便于统一部署;但卷大小、峰值预留和重建耗时仍是约束。原书的微秒和吞吐数字是特定条件示例。热备副本以额外存储换取故障后更快接手,仍有故障检测、再平衡及追赶时间,不能保证字面零停顿。

外部数据库提供成熟查询和全量访问,适合关系、地理等跨键需求,但它需要独立扩容、备份和监控。不同微服务应逻辑隔离自己的数据,避免直接共用状态表。即使所有实例看到同一数据库,也不代表它们推进到相同事件时间:一个实例查到另一个尚未写入的数据,会产生不可重现关联。强读写一致性能消除部分可见性问题,不能消除处理进度不同。

恢复可以从源流、changelog或快照进行。非幂等状态必须使快照中的状态与消费offset一致,不能凭“往前几分钟”保证不重复;幂等更新可容忍有界重叠,但仍需验证不漏。业务变化后可重建或迁移:重建按新逻辑重新得到结果,要求输入仍保留并承担时间与下游输出;迁移成本较低,却需要独立迁移逻辑与代表性数据对比,防止与完整重建结果分歧。

有效一次处理指对受保护结果只产生一次可见效果,逻辑本身仍可能执行多次。库存流水若被重复累计会错报低库存,遗漏也会错误;必须把进度和对应状态变化绑定。代理事务可以原子提交输入offset、changelog和输出,前提是都在同一支持事务的代理边界并采用相应隔离。外部调用不因此自动恰好一次。数据库本地事务也能把状态与offset绑在一起,但不含对代理的直接发送,需结合Outbox。

上游重复与本地重放是不同问题。确认丢失重试、输出成功后进度未提交都可能产生重复事实,不能只凭生产端会话内幂等就保证所有重启和业务重复都消失。稳定业务事件ID比随重试变化的时间戳更可靠;用内容哈希须证明不会把两个合法相同业务事件合并。去重表需耐久并恢复,TTL和容量仅覆盖限定重试窗口,不是无限期保证。

物化状态与状态存储展开这一机制的用途和边界。

Changelog恢复计算结果展开这一机制的用途和边界。

内部状态与全局维表展开这一机制的用途和边界。

本地状态的性能与恢复展开这一机制的用途和边界。

外部状态的时间竞态展开这一机制的用途和边界。

快照须绑定消费进度展开这一机制的用途和边界。

重建与迁移状态的取舍展开这一机制的用途和边界。

重复流水造成库存错算展开这一机制的用途和边界。

事务绑定状态进度输出展开这一机制的用途和边界。

本地事务不含外部发送展开这一机制的用途和边界。

去重身份与有限窗口展开这一机制的用途和边界。

原书依据 · 11 处

第08章 Building Workflows with Microservices

业务工作流把多个服务的动作、分支和失败处理连接起来。协同式工作流中,服务只响应自身输入并发布事实,不知道下游消费者的具体行为;事件可复用,团队容易独立加入或退出。但工作流是服务关系的涌现结果,中间插入步骤或调换先后可能同时影响多个消费契约,必须处理进行中的工作与监控迁移。

编排式工作流把步骤、进度和分支集中到一个协调服务。工作服务仍拥有完整的业务责任,例如支付重试和最终成功判断由支付服务负责,编排器只决定收到最终结果后下一步去哪。否则协调者会成为包含所有细节的上帝服务。编排器可查询物化进度,较易定位卡住的步骤;它也显式耦合工作服务,需独立运行与恢复。

编排可用耐久事件交换命令和结果,也可同步调用。事件流提供缓冲、重试依据和额外消费者;同步调用通常少一次代理往返,适合及时结果,但协调者必须处理断连和超时。混合交互时,每种失败边界仍要明确。

跨服务事务常采用Saga,用一系列本地动作及补偿动作形成业务一致性。执行和撤销逻辑都由所属服务实现,并应幂等。协同式Saga把回退沿链传播,简单稳定流程较合适,但成功结果可能由末端发出,失败结果由起点发出,监控不能只订阅一条流;要遵守单写者原则。编排式Saga集中维护进度,可响应超时和人工取消并依次补偿,补偿失败也须重试或告警。Saga不是隔离的数据库原子回滚,中间状态与不可逆动作需业务设计。

原书的售票与库存例子说明,付款后发现并发订单超过库存会造成无法履约。严格退单退款是一种结果,补货、延迟通知、折扣或提供取消选择也可能更合适。补偿是在业务上处理已经发生的结果,不是抹去所有外部事实,也不能替代正确的库存约束。

协同工作流的涌现依赖展开这一机制的用途和边界。

工作流可见性按需设计展开这一机制的用途和边界。

编排器只拥有流程逻辑展开这一机制的用途和边界。

事件与直调的编排取舍展开这一机制的用途和边界。

Saga补偿由服务负责展开这一机制的用途和边界。

Saga结果与监控边界展开这一机制的用途和边界。

并发售卖造成超库存展开这一机制的用途和边界。

履约不足的业务补偿展开这一机制的用途和边界。

原书依据 · 8 处

第09章 Microservices Using Function-as-a-Service

FaaS把一次函数执行变成可按需分配的运行单元:触发后启动、处理到完成或时限、再结束。它减少基础设施管理,但函数短暂且可被回收,因此连接与本地缓存不能成为业务正确性的持久依据。一个限界上下文可由多个函数组成,代码、数据权限和元数据应保持清晰所有权;为了重用拆成大量细粒度共享函数可能反而让发布、排障和边界模糊。

一次完整函数方案包括代码、输入流、触发逻辑、错误与扩缩策略。事件监听器可先取批次再调用函数,lag触发则由函数启动后自己连接代理取数据;还可使用定时、webhook和资源变更触发。batch size与batch window用延迟换启动摊销。冷启动要加载代码和连接,温启动可复用,但不能保证永远温热。原书中的云服务保留天数和执行时限是2020年产品背景,均不作当前事实。

消费进度最好在处理成功后提交。交接到函数就提前确认,则依赖平台重试、死信和恢复,不能证明业务成功。函数处理一批记录时捕获错误却统一报告成功的示例,不适合要求完整处理的业务,应对失败记录有明确处置和进度语义。

FaaS适合变化大、较简单、无状态或简单外部状态的负载。多输入有序处理仍需事件调度,同键及共分区数据应有明确执行所有权。通过内部事件流串接函数,能保留耐久边界;异步直接调用下个函数则可能在下游失败前提交上游进度,并让多个执行乱序。需要先后关系时,可逐事件同步编排,但吞吐和等待成本也会增加。

状态一般写外部服务,函数寿命结束前考虑提交进度、关闭连接及释放分区,防止悬挂所有权阻塞接手。资源、执行时长、批次大小和外部I/O应共同配置;超时批次反复重试但不改变条件,只会重复失败。扩缩过于敏感会引起消费者频繁加入退出,几乎一直再平衡,需采用阶梯或滞回减少抖动;有序并行仍受分区数限制。

函数寿命与业务边界展开这一机制的用途和边界。

函数提交时机决定保证展开这一机制的用途和边界。

监听与Lag触发的职责展开这一机制的用途和边界。

冷启动不保证本地状态展开这一机制的用途和边界。

函数串接的确认与顺序展开这一机制的用途和边界。

函数批次与扩缩抖动展开这一机制的用途和边界。

原书依据 · 6 处

第10章 Basic Producer and Consumer Microservices

基础生产消费服务(BPC)直接使用代理客户端,消费事件、执行逻辑并输出。它容易采用熟悉语言和库,但通常不自带时间调度、水位线、状态物化、changelog和本地状态迁移。适合无状态、对跨流顺序不敏感的有状态逻辑,或主要由外部数据层完成计算的应用。

遗留系统可直接嵌入客户端,也可用sidecar把事件写到既有库。sidecar与业务代码分别运行,却属于一个部署和测试单元,不能成为无主的外部复制任务。门控模式等所有必要条件到齐才输出,例如书稿、封面、定价齐全后送印;顺序不重要,完整性与只发布有效结果仍重要。

外部状态让计算实例数与持久数据容量独立调整。夜间事件很少可减少处理器,却不能因此删掉仍需访问的全部用户状态。若BPC缺少复杂关联等能力,可用外部流处理器计算,再消费结果;应用的部署、回滚、测试和终止须同时管理两部分,避免遗留后台作业。

基础客户端的能力边界展开这一机制的用途和边界。

Sidecar适配遗留数据展开这一机制的用途和边界。

门控模式等待条件齐备展开这一机制的用途和边界。

计算与状态独立伸缩展开这一机制的用途和边界。

原书依据 · 4 处

第11章 Heavyweight Framework Microservices

重型流处理框架有独立资源集群,用自己的调度、通信、存储和恢复机制执行作业。控制节点分配任务,工作节点完成计算,协调机制维持高可用。源自大数据批处理的体系擅长窗口、会话、聚合和大规模分析,但增加平台运行成本,语言与长期实体表关联能力也需具体核验。书中的框架功能与流行程度保留为2020年观察。

部署可以选托管、独立集群或容器平台集成;容器内运行整个集群与按作业申请独立资源并非同一种隔离。驱动模式用本地协调进程管理集群上的应用,集群模式将作业提交后按ID管理,两者影响启动、停止和流水线衔接。

检查点须把输入分区offset和键控状态一致保存到耐久存储,恢复完整且匹配后才能继续。扩缩应用并不等于扩缩集群容量。动态调整还要保留shuffle数据,避免下游依赖已被终止的上游;外部shuffle服务或受生命周期保护的文件都可承担这项责任。无法在线调整时,可暂停、检查点、按新并行度恢复。

多租户共享集群中,历史追赶任务可能占用全部空余资源,影响在线SLO。独立小集群或命名空间配额可隔离,代价是管理开销或闲置碎片。自动扩缩应依据lag、延迟和资源指标,故障后也要监控退化与冗余缺失。

末尾广告会话示例先合并点击和展示,再按用户分组shuffle,在30分钟不活跃间隔后结束会话。输出键同时包含用户与窗口以区分多次会话;窗口基于事件时间并须配套迟到策略。它把数据局部性、时间和状态恢复合成一个完整分析拓扑。

重型框架的独立运行层展开这一机制的用途和边界。

集群部署与作业管理展开这一机制的用途和边界。

检查点对齐键状态进度展开这一机制的用途和边界。

在线扩缩须保护Shuffle展开这一机制的用途和边界。

多租户配额防止资源饥饿展开这一机制的用途和边界。

广告会话的局部聚合展开这一机制的用途和边界。

原书依据 · 6 处

第12章 Lightweight Framework Microservices

轻型框架把流处理库嵌入普通应用,利用事件代理承接重分区通信和changelog,利用容器平台部署及扩缩,而不额外运行专用处理集群。实例加入消费组后接收分区、恢复本地状态,再继续工作。它简化运行层,却更依赖代理能力和客户端生态。

同键局部操作通过内部重分区流实现,代理把上游与下游实例生命周期隔开。状态变化写changelog,offset保存在消费进度中;扩缩与失败恢复都需要重新分配并装载正确状态。热副本能缩短等待,仍有追赶与交接成本,不能把“在线可扩缩”理解成没有暂停。原书讨论Kafka Streams和Samza嵌入模式,具体支持以2020年背景保留。

广告示例从用户会话提取展示后点击的转化,以广告ID重新分区并累计,再与广告实体表关联得到客户信息。转换统计表与广告表必须共分区;每边变化如何触发更新,以及一边缺失或删除时输出什么,由内/外连接和墓碑语义决定。

示例代码存在明确缺陷:条件使用sum不空“或”ad不空,却随后访问ad.name和ad.type;若只有sum存在会发生空指针。并且前文声明inner join,后文解释full outer join,样表对AdKey4没有转化却写sum=10,与语义不一致。本笔记保留正确机制,不提供该片段作为可运行实现;实现时必须选定连接类型、分别处理空值并核验删除传播。

轻型框架复用代理与平台展开这一机制的用途和边界。

内部流解耦Shuffle实例展开这一机制的用途和边界。

流聚合表再关联补全展开这一机制的用途和边界。

连接空值与墓碑须一致展开这一机制的用途和边界。

原书依据 · 4 处

第13章 Integrating Event-Driven and Request-Response Microservices

事件架构仍需请求响应接口接收设备数据、调用第三方、服务用户。自主分析事件由客户端产生,反应式事件来自外部调用结果;是否写入流取决于它对业务是否构成可复用事实。客户端应按显式模式生成数据,并容忍多个应用版本长期并存。支付返回的结果与追踪号值得持久化,纯请求接受状态则须与最终完成区分:原书把HTTP 202视为第三方会完成工作过强,RFC 9110 §15.3.3仅表示请求被接受处理,最终可能不执行。

外部API查询会引入随执行时间变化的结果;重放还可能突然增加调用量,需限流、超时、错误和幂等设计。队列式独立任务可并行,对同键顺序有要求时则不能无条件并发。

向用户服务物化数据时,内部状态分布在实例上,需由键计算分区,再按当前所有权路由。智能负载均衡可减少随机命中后的二次转发,但再平衡有竞态,实例仍须能够重定向。热副本可承担读取但有复制滞后。外部库使每个实例访问全量状态,可把API与处理器合在一个执行体,或分成同上下文的两个执行体独立扩缩;后者要共同测试和部署,不能变成跨上下文共享数据库。

请求可直接操作本地模型,也可先写事件再物化。事件优先提供耐久来源,却造成异步读后写延迟,UI应区分已提交、处理中与完成,并处理重试重复。并非每个鼠标动作都值得记录:报纸例子保留最终版面事件与编辑/广告商审批事实,普通排版操作可留在同步应用内部。版本号防止不同稿件审批混合,拆分广告审批服务后,它只公开汇总,编辑无需知道内部邀请与响应细节。

微前端把前端片段及相应后端交给同一业务上下文,组合层负责拼装,避免混入搜索、评论等业务规则。事件数据让服务可更换存储和单独演进,但统一样式、公共组件治理、局部加载失败和部署成本仍需管理。体验搜索案例把评论分离,并让搜索独立采用地理位置索引,体现业务边界与可重建数据带来的演进能力。

外部事件与接受状态展开这一机制的用途和边界。

外部调用限制重放确定性展开这一机制的用途和边界。

分片状态的请求路由展开这一机制的用途和边界。

服务层与处理层的组合展开这一机制的用途和边界。

事件优先写入与异步UI展开这一机制的用途和边界。

审批事件封装版本进度展开这一机制的用途和边界。

微前端沿业务纵向拆分展开这一机制的用途和边界。

原书依据 · 7 处

第14章 Supportive Tooling

服务和事件变多后,口耳相传不足以维持自治。服务到团队的所有权系统是基础:它与流写入权限关联,明确谁能改契约、重置状态和批准访问。流元数据可标注所有者、敏感性、命名空间、弃用状态;弃用流应停止新增消费者,再逐步迁移既有依赖。

Schema registry集中保存模式,以ID放入事件减少重复传输,生产者与消费者缓存模式以降低查询。契约变更通知可结合模式、流依赖和团队映射定位受影响者。ACL用服务身份强制输入可读、输出单写、内部流私有;权限历史也可供审计。但“允许读”仅代表潜在依赖,不证明实际读取,拓扑应结合运行信息理解。

自助工具还应提供配额、offset管理、状态重置、标准服务创建和部署资源控制。重置不是仅把offset归零:旧状态、内部流、changelog与输入边界要一致处理,且只有所有者有权限。lag监控应看趋势和吞吐背景,并用滞回减少扩缩抖动。

多集群用于隔离、地域与灾备。复制需验证新删流、分区、offset、时间戳、延迟和容量能否保持,不能假设跨集群位置相同。程序化创建代理、计算及配套工具能支撑临时环境和恢复演练。依赖图结合所有权可展示血缘与跨队连接,但减少边数不是唯一目标;团队能力、工作量和业务目标决定最终归属。

所有权元数据支撑自治展开这一机制的用途和边界。

模式注册与变更通知展开这一机制的用途和边界。

ACL落实流边界展开这一机制的用途和边界。

应用重置与Lag扩缩展开这一机制的用途和边界。

跨集群复制与可重建平台展开这一机制的用途和边界。

拓扑边数不等于组织目标展开这一机制的用途和边界。

原书依据 · 6 处

第15章 Testing Event-Driven Microservices

测试从小函数扩展到拓扑,再验证真实组件与运行环境。无状态变换容易独立验证;有状态函数要控制起始状态、输入序列和时间。拓扑测试驱动器可在无需真实代理时注入特定时间戳、乱序、坏值与边界数据,验证组合行为;它不能代替代理事务、网络与真实资源的集成测试。schema演进也应进入代码提交检查。

本地集成环境至少包含代理、模式服务、所需状态与处理框架。可嵌在测试运行时,或用容器提供一致依赖;语言兼容性和框架限制影响选择。测试应控制代理/模式/存储失效、网络、分区、实例加入退出及恢复,验证状态与所有权一致,并观察API能否继续服务。托管服务若无本地等价实现,需要模拟器或远程资源,同时记录哪些语义未覆盖。书中的模拟器可用性是2020年背景。

远程临时环境更适合接近生产的容量和恢复验证。输入可复制生产数据、使用人工策划集或按schema生成:前者真实但有权限、敏感性和资源成本;策划集覆盖特定关系却易陈旧;生成数据便于边界和模糊测试,但字段合法不代表关联、热点和分布真实。应匹配生产分区数并明确选择样本范围。

共享测试集群起步简单,却容易互相污染数据、争抢资源和留下无主流。应规定命名、写权限、稳定输入和清理责任。生产旁路测试可用独立状态与输出观察真实数据,但不能拿生产容量随意做压力测试,还须隔离副作用。程序化环境创建、数据装载和拆除的投入,同时成为灾备能力的日常演练。

函数测试与拓扑测试分工展开这一机制的用途和边界。

本地集成应控制故障展开这一机制的用途和边界。

测试事件的三种来源展开这一机制的用途和边界。

测试环境隔离与清理展开这一机制的用途和边界。

原书依据 · 4 处

第16章 Deploying Event-Driven Microservices

部署自治依赖标准流水线和自助工具。CI把代码集成、构建、测试、模式与权限检查自动化;持续交付保持可部署但由人决定上线,持续部署则自动推进。状态服务还要考虑恢复时间、重放输出、代理负载和下游SLA,而非只看进程启动。

全停部署先验证输入输出流与权限、兼容性,停止旧实例,按需求协调清理状态和消费边界,再启动新版本并验证lag、日志和接口。若保留旧服务、状态与组,可提高回退速度;随意清空后仅切旧代码未必能快速恢复。

滚动更新让新旧逻辑短期共存,只适用于状态、内部schema与拓扑兼容的变化,不能把所有小代码修改都当作可滚动。破坏性契约变更则需要新流:双流并行迁移减少同步排期,但要求可同时定义两种事实且不造成业务不一致;同步迁移适用于不能并存的领域改变,回退更难,必须提前演练。

蓝绿让新服务使用独立组和状态追赶后切换同步流量,旧版短期保留用于回退。但若两版都消费同一输入并写同一业务输出,会覆盖实体或产生重复事件。因此本书限制这种形式;若要用于有输出处理,必须另行设计输出隔离与切换,不能只复制两套进程。监控和告警也需认识两组并存阶段。

持续交付与部署的区别展开这一机制的用途和边界。

全停部署的状态边界展开这一机制的用途和边界。

滚动更新须兼容共存展开这一机制的用途和边界。

双流迁移与同步迁移展开这一机制的用途和边界。

蓝绿输出必须隔离展开这一机制的用途和边界。

原书依据 · 5 处

第17章 Conclusion

结语把全书重新连接起来:数据通信层保存与分发可信事实,使业务实现不再兼任所有消费者的数据接口。业务边界决定服务职责,显式schema约束意义与演进;数据解放让既有系统进入这条公共叙事。小型服务只是结果,少量较大服务同样可以先改善数据传播。

实施时要支付代理、模式、容器、流水线和监控等平台成本,再按问题选择BPC、FaaS、轻型或重型框架。工具并非越多越好,自治需要测试、恢复与部署边界支撑。事件数据能让新服务组合已有事实,却也放大重放对代理和下游的负载。

结语以薄服务层继续提供旧数据、后台独立重建为例,再次提醒可用性、鲜度和部署复杂度可以交易。是否使用蓝绿或更简单的分层方案,应由SLA决定。结语主要复述前文,没有新的独立机制;其归纳保留在此及跨章综合,不重复生成知识卡。

跨章综合

全书的核心是把共享业务事实从具体实现中解放出来,而不是把每个函数拆成服务。第1–3章确定谁拥有事实以及事实怎样保持含义;第4章使旧系统进入这套通信结构。第5–7章解释一旦事实被并行读取,键、时间、状态与进度如何共同决定正确性:分区解决局部性,时间调度解决跨输入关系,事务和恢复解决故障边界,三者互不能替代。

第8章从单服务走向工作流,提示业务动作的依赖仍然存在。第9–12章提供不同运行实现:FaaS和基础客户端灵活但需自行补时间/状态能力,重型框架有独立集群,轻型框架更多复用代理与容器。选型应依据实际语义和运维能力,不能只按代码行数或框架名称。

第13章把接口、用户和审批重新接回事件世界,暴露异步鲜度、请求结果与状态查询之间的差别。第14–16章则说明自治并非“无需管理”:所有权、权限、schema、测试数据、恢复和部署流程必须显式化。可重放的数据降低重建成本,同时也会增加代理和下游负载,现实副作用必须单独约束。第17章以薄服务层与后台重建的取舍收束,强调满足业务SLA而非追求单一模式。

发散与实践

读者延伸:优先“深读拓扑测试与提交边界”(ideas/idea-001-深读拓扑测试与提交边界.md),已核验Kafka固定版本官方入口并形成首轮映射;再用“选择状态服务部署方案”(ideas/idea-002-选择状态服务部署方案.md)准备下一次真实变更。两者均为计划交付,未运行实验或上线。

准确性补注:第13章HTTP 202语义按RFC 9110 §15.3.3限定为接受处理;第12章连接示例已明确标出空值和连接类型矛盾,不作为可执行示范。

生成进度与管理记录

《Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare)》阅读概览

Skill 版本:v23

执行模式:light

建档进度:done

评级:高信息浓度/高稳定性,经典原理。书中以共享数据、契约演进、CDC/Outbox和流表对偶反复解释边界与取舍;主干原理可迁移,具体工具特性属于2020年背景。全文读取后确认上述评级;框架API与产品支持属于低稳定性的局部,不改变主干评级。

出版信息:版权页第一版August 2020、First Release 2020-07-02;OPF记录2020-07-09,保留为电子元数据日期,不混作不同版次。

整书笔记:正文;schema 1;SHA256 c30ee4200fc0c26ac1ab8414e7af1ae8d0b23b5ec6acf17ae8f33d9f36d7fa12

模式说明:轻量模式:未执行笔记复核、独立审查及审查结果优化。

章节进度追踪表

章节号 章节标题 状态 卡片数
preface Preface done 0
01 Why Event-Driven Microservices done 6
02 Event-Driven Microservice Fundamentals done 9
03 Communication and Data Contracts done 9
04 Integrating Event-Driven Architectures with Existing Systems done 10
05 Event-Driven Processing Basics done 5
06 Deterministic Stream Processing done 10
07 Stateful Streaming done 11
08 Building Workflows with Microservices done 8
09 Microservices Using Function-as-a-Service done 6
10 Basic Producer and Consumer Microservices done 4
11 Heavyweight Framework Microservices done 6
12 Lightweight Framework Microservices done 4
13 Integrating Event-Driven and Request-Response Microservices done 7
14 Supportive Tooling done 6
15 Testing Event-Driven Microservices done 4
16 Deploying Event-Driven Microservices done 5
17 Conclusion done 0

非正文排除

spine项 类型 排除理由
OEBPS/cover.xhtml 封面 仅封面图
OEBPS/toc01.xhtml 目录 导航条目无独立技术讲解
OEBPS/titlepage01.xhtml 扉页 仅书名副题与作者
OEBPS/copyright-page01.xhtml 版权页 出版与许可声明,已用于身份核验
OEBPS/ix01.xhtml 索引 词条定位无独立正文
OEBPS/colophon01.xhtml 作者简介 个人履历无实质技术讲解
OEBPS/colophon02.xhtml 版权设计说明 封面鸟类介绍与排版,不是本书技术正文

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Domain-Driven Design 书 01 Eric Evans提出领域设计概念,本文保留概念解释。
How Do Committees Invent? 论文 01 引用Conway关于组织沟通与系统设计的命题。
Building Microservices 书 01 脚注建议同步微服务延伸阅读。
Microservices for the Enterprise 书 01 脚注建议同步微服务延伸阅读。
Apache Avro、Google Protobuf 框架 02 模式与代码生成用途在第03章展开。
gVisor、Firecracker、Kata Containers 源码项目 02 作为2020年虚拟化隔离方向举例,未展开实现。
Kubernetes、Docker、Mesos Marathon、Amazon ECS、Nomad 框架 02 编排工具例子,未逐一介绍机制。
Apache Avro、Apache Thrift、Google Protobuf 框架 03 显式模式、序列化和演进选项,未展开内部实现。
Kafka Connect、Apache Gobblin、Apache NiFi 框架 04 捕获/落地框架例子,具体支持范围为2020年背景。
Debezium、Maxwell 源码项目 04 日志CDC工具例子,本章介绍流程而非当前产品比较。
Streaming Systems 书 06 水位线深入阅读建议。
The World Beyond Batch: Streaming 101、102 论文 06 Tyler Akidau流处理文章延伸阅读。
Distributed Systems for Fun and Profit 书 06 分布式时间延伸阅读。
RocksDB 源码项目 07 内部键值存储例子,性能数字为书内特定条件。
OpenWhisk、OpenFaaS、Kubeless、Nuclio 框架 09 FaaS实现例子,书内产品限制不作当前事实。
Azure Durable Functions 框架 09 以外部持久化支持函数恢复,未展开内部实现。
Apache Spark、Flink、Storm、Heron、Beam 框架 11 框架示例,具体支持与流行度为2020年背景。
Apache ZooKeeper 源码项目 11 作为部分集群的高可用协调依赖,非所有框架必需。
Apache Kafka Streams、Apache Samza embedded mode 框架 12 轻型模型例子,具体功能为2020年背景。
Confluent KSQL 框架 12 流处理SQL包装例子,未展开当前功能。
Burrow 源码项目 14 历史lag趋势监控例子,未介绍内部实现。
TopologyTestDriver 框架 15 Kafka Streams拓扑测试工具,实践另核验固定版本。
LocalStack 框架 15 托管服务本地模拟例子,2020年能力列表不作当前事实。
Amazon S3、Google Cloud Storage、Azure Storage 框架 02 分层存储的远端对象存储例子,未介绍内部机制。
Apache Kafka、Apache Pulsar 框架 02 代理与队列功能的2020年例子,不作为当前产品支持断言。
NATS 框架 09 函数触发插件的代理选项提名。
Hadoop Distributed File System 框架 11 耐久检查点存储选项,未展开文件系统实现。
Google Dataflow 框架 11 Beam runner及托管扩缩例子,具体特性属2020背景。
Amazon DynamoDB、Google Bigtable 框架 14 受支持外部状态库重置举例,未介绍内部实现。
StreamingSuiteBase、spark-fast-tests 框架 15 Spark拓扑测试库提名,未展开API。
Google Pub/Sub emulator、Amazon Kinesis、Azure Event Hubs 框架 15 本地模拟与托管接口的2020年限制例子,不作为当前可用性判断。
Google Cloud Functions、AWS Lambda、Azure Functions 框架 15 函数本地测试选项提名,未展开各自实现。
Confluent Avro tools 框架 15 按schema生成测试数据的工具提名。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
跨流错序误收透支费 跨流乱序误收透支费 跨流时间调度与迟到补正 06 两流轮询使较早存款晚处理,错误判负
库存流水重复累计 重复流水造成库存错算 事务绑定状态进度输出 07 状态与进度分离造成重复应用
并发购买超库存 并发售卖造成超库存 履约不足的业务补偿 08 支付后发现履约资源不足,补偿是事后补救

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出

| 1 | 深读拓扑测试与提交边界 | 实现深读 | done | 07、12、15 | ideas/idea-001-深读拓扑测试与提交边界.md(含已核验首轮源码映射) | | 2 | 选择状态服务部署方案 | 决策实践 | done | 16 | ideas/idea-002-选择状态服务部署方案.md(计划,未执行) |

实践候选筛选:done

未采用:重写流处理器(已有成熟实现,缺少必须实验才能回答的问题);泛泛比较所有云FaaS(范围过大且产品特性已变化);直接迁移生产Outbox(无本轮授权的具体服务输入)。两张采用卡目标不同,均不冒充现实执行。

生成结论:前言与17章全文已读;110张知识卡,其中结构图卡1张、支付系统案例卡6张;实践计划2张。第17章复述并入前文,无新增独立卡。轻量模式未执行笔记复核、独立审查及审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

微服务拆分与演进

比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。

444 张卡片 · 71 本书

主题索引

测试有效性与验证手段

比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。

366 张卡片 · 63 本书

主题索引

变更发布与回滚安全

比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。

312 张卡片 · 75 本书

主题索引

容器与编排

比较容器隔离与镜像理念、Kubernetes 的资源模型与控制器、应用封装方案,以及容器存储的抽象与扩展机制。

312 张卡片 · 47 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

领域事件与最终一致性

比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。

263 张卡片 · 46 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

无服务器平台

无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。

211 张卡片 · 27 本书

主题索引

工作流引擎与BPMN建模

比较工作流引擎的持久化、调度与版本化能力,BPMN/DMN 建模要素,模型与代码的分工,以及批处理、流处理、actor、有状态函数等替代方案的取舍。

201 张卡片 · 18 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

CQRS与读写模型分离

比较命令与查询的职责、模型及读取路径,并标明薄读取层的适用边界。

88 张卡片 · 13 本书

主题索引

引擎运行时与状态管理

引擎的三大核心功能与部署形态(嵌入、独立、共享引擎),流程实例的持久化、调度与等待不占线程,流程版本与实例迁移,外部任务与人工任务的执行分离,以及故障恢复、撤销与审计数据的落地方式。

76 张卡片 · 7 本书

主题索引

OpenAPI 契约与模式验证

比较 OpenAPI 文档结构、路径与操作、参数/请求/响应、JSON Schema 约束、复用和认证方案,以及规范交互验证的做法。

61 张卡片 · 14 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

编排方案取舍

批处理、actor 模型、有状态函数、代码编排、编舞与服务编排在同一件事上的差别:长期运行与等待、状态归属、可观察性、改流程要不要重新部署,以及低代码与 RPA 各自的能力边界。

54 张卡片 · 17 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

微前端与业务单元

比较微前端的落地方式、粒度选择,以及前后端组合成业务单元的方法。

34 张卡片 · 7 本书