此笔记位置已失效,请从目录继续阅读。
全书导读
本书讨论如何把组织中的共享数据变成可信、可重放的事件,使小型业务服务独立演进。它从组织边界、事件与数据契约出发,再进入遗留集成、流处理状态与时间、不同规模的处理框架,最后处理同步接口、平台、测试和运行。它适合已有跨团队数据依赖、希望理解事件架构代价的工程读者。具体工具支持范围保留2020年版本背景,不作为今天的产品选型结论。
全书主线
事件代理保存事实,生产者定义并承担事实语义,消费者按自己的需要建立状态。三者共同把访问数据的需求与拥有数据的实现分开。分离依赖的同时,系统要承担模式演进、重放、时间、交付语义、状态恢复和运维成本。后续章节逐项处理这些成本,不能把“改成异步”视为完成架构迁移。
前言 Preface
前言把事件驱动微服务的意义放在组织如何获得与使用数据上。耐久、可重复消费的事件使服务不必在每次需要信息时调用数据拥有者;容器和按需资源则降低独立服务运行的门槛。作者说明本书将组织沟通、事件系统和应用模式连起来讨论,提醒读者这是一套数据与服务的协作方式。排版约定、出版联系方式和致谢不另取材。
第01章 Why Event-Driven Microservices
事件驱动微服务是围绕一个业务职责独立运行的小应用。它消费事实、执行逻辑,再发布结果或提供同步接口。与消费后即删除的任务消息不同,本书依赖的事件可以长期保存,由多个服务反复读取。因此价值不只是把调用改为异步,而是让组织中的业务数据成为共享、可重建的通信基础。
领域是企业面对的问题空间,子领域是其中较小的问题;领域模型则是为解决问题而建立的抽象。限界上下文规定模型、数据、输入输出和业务规则适用的边界。服务围绕业务边界划分,团队才可能独立完成需求;按数据库层、接口层划分责任,会使一个业务变更跨越多个排期与所有者。保持内聚和低耦合有时需要重复逻辑或保存相似数据,不能只按代码是否重复评价架构。
组织存在三种相互影响的沟通结构:业务结构分配人员与目标,实现结构把规则固定成代码和数据,数据结构负责在实现之间传播信息。Conway定律说明系统会反映组织沟通边界。原书用一个团队增加功能并随后拆分的例子说明:数据锁在原服务中时,独立服务意味着额外复制、同步和运维成本;继续扩大旧服务又让未来拆分更难。共享数据库、直接接口和定时复制可以暂时缓解问题,却可能暴露内部模型、形成耦合并产生陈旧副本。
事件流把数据生产和所有权与数据访问分开:生产者发布可信事实,消费者自己保存、组合和查询所需数据。事件流本身不承担消费者的查询业务。团队重组后,共享领域数据仍可供新服务读取,但这要求组织认可事件的权威性,并提供低成本创建和管理服务的能力。
同步请求依然适合需要即时回答的用户界面、认证和第三方接口。同步链路容易追踪,却可能形成调用扇出、关联扩容、故障传播和版本协调。异步与同步的取舍应服从问题;事件驱动架构通常仍是混合架构。
耐久事件连接服务展开这一机制的用途和边界。
业务边界决定服务职责展开这一机制的用途和边界。
组织的三种沟通结构展开这一机制的用途和边界。
复制数据的隐藏耦合展开这一机制的用途和边界。
消费者拥有查询模型展开这一机制的用途和边界。
同步服务的耦合成本展开这一机制的用途和边界。
第02章 Event-Driven Microservice Fundamentals
本章先把两个观察尺度分开:微服务拓扑描述一个服务内部如何摄取、转换、保存与输出事件;业务拓扑则描述多个服务、事件流和接口如何共同完成业务。服务可以同时是生产者和消费者,也可以通过同步接口暴露从事件建立的状态。
事件是发生过的事实。常见键值表示中,值保存事实内容,键用于身份、分区路由和聚合。无键事件记录独立发生;实体事件保存某个对象在特定时刻的完整状态,最新一条可用于代表当前对象;有键但非实体的事件则可能是一连串用户行为,不能误把最后一条当作全部状态。
实体事件按顺序应用到键值表,会把每个键更新成最新值,这就是流与表的对偶:表的变更能成为流,流也能物化为表。删除用值为null的墓碑表达。日志压缩只保留键的最新记录,可降低空间和恢复读取量,但会丢失历史,墓碑清理还必须与消费者能完成删除的时间配合。单写者原则让每个流只有一个微服务拥有写入权,便于追溯权威来源;这指逻辑服务,可以有多个受协调实例。
事件代理承接可扩展、耐久、可重放的日志。流分区提供并行,分区内顺序提供局部确定的读取顺序;不可变记录以offset定位,消费进度落后形成lag。独立消费组各自读取完整逻辑流,组内分配分区实现扩容,因此活跃并行实例受分区数限制。队列按任务分配记录,确认后不再提供给其他消费者,重试和并行会改变处理顺序。它适合分摊任务,却不能单独满足所有服务独立重建状态的需求。具体产品功能是2020年书内背景,笔记只保留机制。
服务运行还需要容器或虚拟机、统一部署和资源管理。容器共享宿主内核,启动轻、依赖隔离方便,内核隔离边界与完整虚拟机不同;虚拟机通常提供独立操作系统并有更高资源成本。编排平台应支持垂直和水平扩缩,多个共同组成服务的组件应作为可协调的部署单元。
事件代理、部署流水线、日志、监控和运行平台共同构成微服务税。集中支付可以提供统一能力,每队重复建设则容易工具碎片化。小组织若无法承担平台投入,模块化单体可能更合适。
微服务与业务拓扑展开这一机制的用途和边界。
事件键与实体状态展开这一机制的用途和边界。
流表对偶与物化展开这一机制的用途和边界。
墓碑与日志压缩展开这一机制的用途和边界。
事件流的单写者展开这一机制的用途和边界。
事件代理的必要能力展开这一机制的用途和边界。
消费组与队列的区别展开这一机制的用途和边界。
容器与虚拟机边界展开这一机制的用途和边界。
集中支付微服务税展开这一机制的用途和边界。
原书依据 · 9 处
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
- Event-Driven Microservice Fundamentals · 查看原书依据
第03章 Communication and Data Contracts
数据契约同时规定事件长什么样,以及什么业务条件触发它。只有字段和类型相同,不能保证含义相同;触发逻辑悄悄变化也会破坏消费者的判断。显式schema把这些约定放到可检查的定义中,注释应解释单位、时间格式、字段意义和触发条件。隐式JSON结构或团队口耳相传的约定仍是契约,只是缺少受控检查;共享解析库也可能把语言、发布周期和版本耦合在一起。
前向兼容表示旧读者能读取新写者的数据,后向兼容表示新读者能读取旧写者的数据,完整兼容要求两者同时满足。长期重放需要考虑历史版本,不能把相邻版本兼容误当作所有版本任意兼容;实际范围取决于所选框架和兼容策略。生成代码可把模式变成语言对象并帮助检查类型和必填字段。消费时需要识别写入模式,再依演进规则转换为读者模式,字段默认值和忽略规则在这一过程发挥作用。
遇到无法兼容的领域变化,应先与消费者共同重新定义模型。实体长期存活,只让消费者同时解释新旧实体会转移语义责任;生产者更适合从源数据重建新格式实体,发布到新流,旧流保留用于追溯与验证。短期发生事件可以切新流后让消费者迁移,待旧流完全过期再退役。
好的事件应完整陈述单一业务事实,避免只通知“完成了”却把结果藏在别处。每流一种逻辑定义可减少消费者筛选和解释负担。字段宜使用足够窄且准确的类型:数值用数值、真假用布尔、有限选项用枚举,同时消费者要规定未知枚举值的处置。书中的电影/图书交互例子显示,给通用事件不断增加type和可空字段,会把三个清晰行为合成复杂联合体;业务变细时应重新检查单一目的。
事件尽量小,但不能为了小而删除必要事实。大文件不得不外置时,指针会引入载荷可变、保存和访问的一致性责任。提前邀请预期消费者参与设计,有助于发现他们真正需要的数据和不清楚的触发语义。原书对JSON不具完整兼容演进的提醒在这里按“必须配套显式schema及兼容策略”理解,不将传输编码名称本身当作充分判断。
契约包含事件触发语义展开这一机制的用途和边界。
显式模式降低解释分歧展开这一机制的用途和边界。
模式兼容的读写方向展开这一机制的用途和边界。
模式代码生成的边界展开这一机制的用途和边界。
破坏性实体变更迁流展开这一机制的用途和边界。
单流单一业务事实展开这一机制的用途和边界。
窄类型约束事件歧义展开这一机制的用途和边界。
类型字段隐藏多重职责展开这一机制的用途和边界。
事件完整性与大载荷展开这一机制的用途和边界。
原书依据 · 9 处
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
- Communication and Data Contracts · 查看原书依据
第04章 Integrating Event-Driven Architectures with Existing Systems
数据解放是识别跨领域需要的数据,并从既有系统发布为可消费事件流。它让新服务摆脱直接查源库或调用私有接口,但遗留系统往往仍以自身数据库为恢复依据,因此是渐进迁移:需要保证事件流最终可物化成与源数据一致的结果,而非假称所有系统已以流为唯一写入源。
查询式捕获先全量加载,再按更新时间或递增ID轮询,也能用视图、过滤和关联隐藏内部模型。它容易定制,却会漏掉硬删除和轮询间的中间状态,给生产库带来查询负载。轮询间隔必须允许前次工作结束,初始快照与增量交接也不能留空隙。更新时间、序号和事务提交是不同概念;原书的递增ID建议不能被当作并发事务提交顺序的保证。
日志式CDC从binlog或WAL等变更记录读取更新与删除。通常需要快照启动,并保证快照与日志的边界覆盖,再用检查点恢复读取。它能获得细粒度低延迟变更,但公开原始表结构会把范式化表、外键关系和DDL演进成本转给消费者。日志读取减少重复业务查询,并非没有任何数据库或基础设施开销。Debezium等具体产品支持范围是2020年的历史描述,不能当作当前选型清单。
Outbox把业务变更与待发送事件写入同一数据库事务,外部发布器成功发布后才删除待发送项。这样可避免只改业务状态却没留下事件;但发布确认后、删除前崩溃仍会重复,所以提供至少一次交付,消费者需幂等。Outbox不必一张源表对应一张:可直接写公开契约所需的反范式事件,或先写私有变更流,再由eventification服务组合User、Location、Employer等数据,发布完整公共实体。后一种服务也必须在关联对象变化时更新所有受影响用户。
在提交事务前验证并序列化事件,能让不兼容事件与业务修改一起回滚;提交后才验证,会留下已生效却无法发布的业务变化。前者提高一致性,代价是序列化影响业务延迟,格式错误会阻止业务完成。触发器也可在数据库内原子记录变化,适合难修改的遗留应用,但执行负载、测试、表数量和模式维护成本会增加,输出schema通常要事后验证。
有效的源表DDL并不必然是有效的公共schema变化。捕获表、应用模型和公开契约需要共同测试。将流落地到旧系统的sink可以替换点对点复制,同时保留旧应用使用方式;它独立维护消费进度。集中连接器平台降低起步成本,但源系统团队仍须对数据含义、顺序、延迟和正确性负责,平台团队负责框架运行。若把CDC当作终点,源团队对事件无感,耦合与跨团队维修会长期累积。
数据解放的迁移边界展开这一机制的用途和边界。
查询式捕获的取舍展开这一机制的用途和边界。
日志捕获的恢复边界展开这一机制的用途和边界。
原始CDC会泄漏模型展开这一机制的用途和边界。
Outbox事务避免漏事件展开这一机制的用途和边界。
事件化隔离内部关联展开这一机制的用途和边界。
提交前验证事件契约展开这一机制的用途和边界。
触发器捕获的维护成本展开这一机制的用途和边界。
源表变更不等于契约兼容展开这一机制的用途和边界。
Sink与平台责任划分展开这一机制的用途和边界。
原书依据 · 10 处
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
- Integrating Event-Driven Architectures with Existing Systems · 查看原书依据
第05章 Event-Driven Processing Basics
一个基本事件服务循环摄取消费记录,执行业务逻辑,输出结果,再提交消费进度。无状态拓扑中,每条记录不依赖历史状态即可处理,因而实例失效后不需要重建本地业务状态;仍可能重放未提交进度的记录,输出和offset的故障窗口不能忽略。
Filter决定是否继续传递,Map可以改变键和值,MapValue只改值,自定义处理还可能访问状态或外部系统。改变键不仅是字段转换:下游若按新键关联或聚合,需要重新分区建立数据局部性。分支把不同情况路由到不同输出,例如错误流;合并把多个流变成一个公共领域表示,必须先定义一致契约,不能只因接口方便而混合不相容事件。
分区器确定键到分区的映射。重新分区可能改变键、分区数或分区算法,使同键记录汇到同一处。跨流关联还需要共分区:键含义与编码相符、分区算法和数量相同,并把相应分区交给同一实例。这样局部状态就能支持关联,而无需每条记录跨节点查询。
分区分配器在组成员变化时重新分配工作。轮询追求均匀数量,静态分配减少持有大状态实例的迁移,自定义分配可依据lag等信号。分区数均匀不代表负载相等,状态重建和停顿也是成本。不同代理把协调放在客户端或代理内部,具体实现属于书内时代背景;核心要求是所有权交接、共分区与可恢复消费进度。
消费处理与提交窗口展开这一机制的用途和边界。
无状态变换与分支合并展开这一机制的用途和边界。
重分区建立数据局部性展开这一机制的用途和边界。
共分区支撑本地关联展开这一机制的用途和边界。
分区分配的状态代价展开这一机制的用途和边界。
第06章 Deterministic Stream Processing
确定性要求相同输入及相同业务规则重放时产生相同结果。实时消费与追赶历史时,墙钟、外部查询的返回值和跨流读取先后可能不同。offset只在单分区内描述位置,跨分区需要事件时间和调度规则。事件时间是发生时刻,代理摄取时间是接收时刻,消费者摄取和处理时间还取决于执行进度。保留可靠的事件时间更能重现业务发生顺序;时钟同步减少偏差,却不能建立没有误差的全局顺序。
原书以存款和取款分流的账户说明:若按轮询顺序先取10元存款、再取25元取款、最后取20元存款,会产生实际时间顺序中不存在的负余额与透支费。消费者需按业务时间跨流选择下个事件,同时处理乱序和迟到,不能只排序当前可见记录就假定所有早期事件已到达。分区内部仍按offset读取,后到的较早时间记录由迟到策略处置。
水位线向下游表示事件时间进度,用于判断窗口等操作何时可推进;多输入节点通常取各输入进度的最小值。它在实际系统中常是有假设的进度估计,不能消除迟到。stream time则以已处理事件的最大时间单调前进。Kafka Streams式子拓扑处理一条事件后推进时间,重新分区经代理形成新子拓扑;原书与重型框架内部shuffle作比较,具体框架行为需按版本理解。重分区应保留原事件时间,不用当前墙钟覆盖。
乱序指时间戳顺序与流位置不同;迟到是相对于消费者的截止规则,而非事件固有属性。多生产者、分区速度不均和网络断连后补发都可能造成迟到,甚至让实时结果与事后重放不同。滚动窗口不重叠,滑动窗口用固定跨度和步长,会话窗口由不活跃间隔划界。窗口需在延迟、保存状态和完整性之间选择:丢弃、等待后输出,或先输出并在宽限期内更正。金融记录等关键事实不能只因过期就悄悄丢弃,应有补偿与调查路径;有限窗口策略不等于业务可以永远忽略事实。
重放前要确定起始范围与状态:仅重置offset但保留旧聚合状态会重复累计,从不完整历史开始也会漏余额。还需估算时间、I/O、下游输出和资源配额,识别邮件等不可重复的副作用。能够按事件时间重算核心模型,并不意味着现实通知应再次发生。
确定性的输入边界展开这一机制的用途和边界。
事件时间与处理时间展开这一机制的用途和边界。
跨流乱序误收透支费展开这一机制的用途和边界。
跨流时间调度与迟到补正展开这一机制的用途和边界。
水位线协调时间进度展开这一机制的用途和边界。
流时间与重新分区展开这一机制的用途和边界。
乱序与迟到的区别展开这一机制的用途和边界。
三类时间窗口展开这一机制的用途和边界。
迟到结果的三种策略展开这一机制的用途和边界。
重放要隔离现实副作用展开这一机制的用途和边界。
原书依据 · 10 处
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
- Deterministic Stream Processing · 查看原书依据
第07章 Stateful Streaming
状态使事件服务能够基于历史作出当前决定。物化状态是输入事件的投影;状态存储则保存当前模型和中间计算。内部存储与服务实例同生共灭,通常按所持分区隔离数据,分区转移时丢弃旧所有权状态并恢复新分区。全局内部表则在每个实例保存整份小型维表,适合查询,若每份副本都驱动同一业务输出,就可能重复行动。
Changelog记录状态变化,可直接恢复先前计算结果,避免重算全部原始输入。压缩后保存最新键值适合恢复当前状态。内部磁盘访问通常比网络访问快,计算与状态一起扩容也便于统一部署;但卷大小、峰值预留和重建耗时仍是约束。原书的微秒和吞吐数字是特定条件示例。热备副本以额外存储换取故障后更快接手,仍有故障检测、再平衡及追赶时间,不能保证字面零停顿。
外部数据库提供成熟查询和全量访问,适合关系、地理等跨键需求,但它需要独立扩容、备份和监控。不同微服务应逻辑隔离自己的数据,避免直接共用状态表。即使所有实例看到同一数据库,也不代表它们推进到相同事件时间:一个实例查到另一个尚未写入的数据,会产生不可重现关联。强读写一致性能消除部分可见性问题,不能消除处理进度不同。
恢复可以从源流、changelog或快照进行。非幂等状态必须使快照中的状态与消费offset一致,不能凭“往前几分钟”保证不重复;幂等更新可容忍有界重叠,但仍需验证不漏。业务变化后可重建或迁移:重建按新逻辑重新得到结果,要求输入仍保留并承担时间与下游输出;迁移成本较低,却需要独立迁移逻辑与代表性数据对比,防止与完整重建结果分歧。
有效一次处理指对受保护结果只产生一次可见效果,逻辑本身仍可能执行多次。库存流水若被重复累计会错报低库存,遗漏也会错误;必须把进度和对应状态变化绑定。代理事务可以原子提交输入offset、changelog和输出,前提是都在同一支持事务的代理边界并采用相应隔离。外部调用不因此自动恰好一次。数据库本地事务也能把状态与offset绑在一起,但不含对代理的直接发送,需结合Outbox。
上游重复与本地重放是不同问题。确认丢失重试、输出成功后进度未提交都可能产生重复事实,不能只凭生产端会话内幂等就保证所有重启和业务重复都消失。稳定业务事件ID比随重试变化的时间戳更可靠;用内容哈希须证明不会把两个合法相同业务事件合并。去重表需耐久并恢复,TTL和容量仅覆盖限定重试窗口,不是无限期保证。
物化状态与状态存储展开这一机制的用途和边界。
Changelog恢复计算结果展开这一机制的用途和边界。
内部状态与全局维表展开这一机制的用途和边界。
本地状态的性能与恢复展开这一机制的用途和边界。
外部状态的时间竞态展开这一机制的用途和边界。
快照须绑定消费进度展开这一机制的用途和边界。
重建与迁移状态的取舍展开这一机制的用途和边界。
重复流水造成库存错算展开这一机制的用途和边界。
事务绑定状态进度输出展开这一机制的用途和边界。
本地事务不含外部发送展开这一机制的用途和边界。
去重身份与有限窗口展开这一机制的用途和边界。
原书依据 · 11 处
第08章 Building Workflows with Microservices
业务工作流把多个服务的动作、分支和失败处理连接起来。协同式工作流中,服务只响应自身输入并发布事实,不知道下游消费者的具体行为;事件可复用,团队容易独立加入或退出。但工作流是服务关系的涌现结果,中间插入步骤或调换先后可能同时影响多个消费契约,必须处理进行中的工作与监控迁移。
编排式工作流把步骤、进度和分支集中到一个协调服务。工作服务仍拥有完整的业务责任,例如支付重试和最终成功判断由支付服务负责,编排器只决定收到最终结果后下一步去哪。否则协调者会成为包含所有细节的上帝服务。编排器可查询物化进度,较易定位卡住的步骤;它也显式耦合工作服务,需独立运行与恢复。
编排可用耐久事件交换命令和结果,也可同步调用。事件流提供缓冲、重试依据和额外消费者;同步调用通常少一次代理往返,适合及时结果,但协调者必须处理断连和超时。混合交互时,每种失败边界仍要明确。
跨服务事务常采用Saga,用一系列本地动作及补偿动作形成业务一致性。执行和撤销逻辑都由所属服务实现,并应幂等。协同式Saga把回退沿链传播,简单稳定流程较合适,但成功结果可能由末端发出,失败结果由起点发出,监控不能只订阅一条流;要遵守单写者原则。编排式Saga集中维护进度,可响应超时和人工取消并依次补偿,补偿失败也须重试或告警。Saga不是隔离的数据库原子回滚,中间状态与不可逆动作需业务设计。
原书的售票与库存例子说明,付款后发现并发订单超过库存会造成无法履约。严格退单退款是一种结果,补货、延迟通知、折扣或提供取消选择也可能更合适。补偿是在业务上处理已经发生的结果,不是抹去所有外部事实,也不能替代正确的库存约束。
协同工作流的涌现依赖展开这一机制的用途和边界。
工作流可见性按需设计展开这一机制的用途和边界。
编排器只拥有流程逻辑展开这一机制的用途和边界。
事件与直调的编排取舍展开这一机制的用途和边界。
Saga补偿由服务负责展开这一机制的用途和边界。
Saga结果与监控边界展开这一机制的用途和边界。
并发售卖造成超库存展开这一机制的用途和边界。
履约不足的业务补偿展开这一机制的用途和边界。
原书依据 · 8 处
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
- Building Workflows with Microservices · 查看原书依据
第09章 Microservices Using Function-as-a-Service
FaaS把一次函数执行变成可按需分配的运行单元:触发后启动、处理到完成或时限、再结束。它减少基础设施管理,但函数短暂且可被回收,因此连接与本地缓存不能成为业务正确性的持久依据。一个限界上下文可由多个函数组成,代码、数据权限和元数据应保持清晰所有权;为了重用拆成大量细粒度共享函数可能反而让发布、排障和边界模糊。
一次完整函数方案包括代码、输入流、触发逻辑、错误与扩缩策略。事件监听器可先取批次再调用函数,lag触发则由函数启动后自己连接代理取数据;还可使用定时、webhook和资源变更触发。batch size与batch window用延迟换启动摊销。冷启动要加载代码和连接,温启动可复用,但不能保证永远温热。原书中的云服务保留天数和执行时限是2020年产品背景,均不作当前事实。
消费进度最好在处理成功后提交。交接到函数就提前确认,则依赖平台重试、死信和恢复,不能证明业务成功。函数处理一批记录时捕获错误却统一报告成功的示例,不适合要求完整处理的业务,应对失败记录有明确处置和进度语义。
FaaS适合变化大、较简单、无状态或简单外部状态的负载。多输入有序处理仍需事件调度,同键及共分区数据应有明确执行所有权。通过内部事件流串接函数,能保留耐久边界;异步直接调用下个函数则可能在下游失败前提交上游进度,并让多个执行乱序。需要先后关系时,可逐事件同步编排,但吞吐和等待成本也会增加。
状态一般写外部服务,函数寿命结束前考虑提交进度、关闭连接及释放分区,防止悬挂所有权阻塞接手。资源、执行时长、批次大小和外部I/O应共同配置;超时批次反复重试但不改变条件,只会重复失败。扩缩过于敏感会引起消费者频繁加入退出,几乎一直再平衡,需采用阶梯或滞回减少抖动;有序并行仍受分区数限制。
函数寿命与业务边界展开这一机制的用途和边界。
函数提交时机决定保证展开这一机制的用途和边界。
监听与Lag触发的职责展开这一机制的用途和边界。
冷启动不保证本地状态展开这一机制的用途和边界。
函数串接的确认与顺序展开这一机制的用途和边界。
函数批次与扩缩抖动展开这一机制的用途和边界。
原书依据 · 6 处
- Microservices Using Function-as-a-Service · 查看原书依据
- Microservices Using Function-as-a-Service · 查看原书依据
- Microservices Using Function-as-a-Service · 查看原书依据
- Microservices Using Function-as-a-Service · 查看原书依据
- Microservices Using Function-as-a-Service · 查看原书依据
- Microservices Using Function-as-a-Service · 查看原书依据
第10章 Basic Producer and Consumer Microservices
基础生产消费服务(BPC)直接使用代理客户端,消费事件、执行逻辑并输出。它容易采用熟悉语言和库,但通常不自带时间调度、水位线、状态物化、changelog和本地状态迁移。适合无状态、对跨流顺序不敏感的有状态逻辑,或主要由外部数据层完成计算的应用。
遗留系统可直接嵌入客户端,也可用sidecar把事件写到既有库。sidecar与业务代码分别运行,却属于一个部署和测试单元,不能成为无主的外部复制任务。门控模式等所有必要条件到齐才输出,例如书稿、封面、定价齐全后送印;顺序不重要,完整性与只发布有效结果仍重要。
外部状态让计算实例数与持久数据容量独立调整。夜间事件很少可减少处理器,却不能因此删掉仍需访问的全部用户状态。若BPC缺少复杂关联等能力,可用外部流处理器计算,再消费结果;应用的部署、回滚、测试和终止须同时管理两部分,避免遗留后台作业。
基础客户端的能力边界展开这一机制的用途和边界。
Sidecar适配遗留数据展开这一机制的用途和边界。
门控模式等待条件齐备展开这一机制的用途和边界。
计算与状态独立伸缩展开这一机制的用途和边界。
第11章 Heavyweight Framework Microservices
重型流处理框架有独立资源集群,用自己的调度、通信、存储和恢复机制执行作业。控制节点分配任务,工作节点完成计算,协调机制维持高可用。源自大数据批处理的体系擅长窗口、会话、聚合和大规模分析,但增加平台运行成本,语言与长期实体表关联能力也需具体核验。书中的框架功能与流行程度保留为2020年观察。
部署可以选托管、独立集群或容器平台集成;容器内运行整个集群与按作业申请独立资源并非同一种隔离。驱动模式用本地协调进程管理集群上的应用,集群模式将作业提交后按ID管理,两者影响启动、停止和流水线衔接。
检查点须把输入分区offset和键控状态一致保存到耐久存储,恢复完整且匹配后才能继续。扩缩应用并不等于扩缩集群容量。动态调整还要保留shuffle数据,避免下游依赖已被终止的上游;外部shuffle服务或受生命周期保护的文件都可承担这项责任。无法在线调整时,可暂停、检查点、按新并行度恢复。
多租户共享集群中,历史追赶任务可能占用全部空余资源,影响在线SLO。独立小集群或命名空间配额可隔离,代价是管理开销或闲置碎片。自动扩缩应依据lag、延迟和资源指标,故障后也要监控退化与冗余缺失。
末尾广告会话示例先合并点击和展示,再按用户分组shuffle,在30分钟不活跃间隔后结束会话。输出键同时包含用户与窗口以区分多次会话;窗口基于事件时间并须配套迟到策略。它把数据局部性、时间和状态恢复合成一个完整分析拓扑。
重型框架的独立运行层展开这一机制的用途和边界。
集群部署与作业管理展开这一机制的用途和边界。
检查点对齐键状态进度展开这一机制的用途和边界。
在线扩缩须保护Shuffle展开这一机制的用途和边界。
多租户配额防止资源饥饿展开这一机制的用途和边界。
广告会话的局部聚合展开这一机制的用途和边界。
第12章 Lightweight Framework Microservices
轻型框架把流处理库嵌入普通应用,利用事件代理承接重分区通信和changelog,利用容器平台部署及扩缩,而不额外运行专用处理集群。实例加入消费组后接收分区、恢复本地状态,再继续工作。它简化运行层,却更依赖代理能力和客户端生态。
同键局部操作通过内部重分区流实现,代理把上游与下游实例生命周期隔开。状态变化写changelog,offset保存在消费进度中;扩缩与失败恢复都需要重新分配并装载正确状态。热副本能缩短等待,仍有追赶与交接成本,不能把“在线可扩缩”理解成没有暂停。原书讨论Kafka Streams和Samza嵌入模式,具体支持以2020年背景保留。
广告示例从用户会话提取展示后点击的转化,以广告ID重新分区并累计,再与广告实体表关联得到客户信息。转换统计表与广告表必须共分区;每边变化如何触发更新,以及一边缺失或删除时输出什么,由内/外连接和墓碑语义决定。
示例代码存在明确缺陷:条件使用sum不空“或”ad不空,却随后访问ad.name和ad.type;若只有sum存在会发生空指针。并且前文声明inner join,后文解释full outer join,样表对AdKey4没有转化却写sum=10,与语义不一致。本笔记保留正确机制,不提供该片段作为可运行实现;实现时必须选定连接类型、分别处理空值并核验删除传播。
轻型框架复用代理与平台展开这一机制的用途和边界。
内部流解耦Shuffle实例展开这一机制的用途和边界。
流聚合表再关联补全展开这一机制的用途和边界。
连接空值与墓碑须一致展开这一机制的用途和边界。
第13章 Integrating Event-Driven and Request-Response Microservices
事件架构仍需请求响应接口接收设备数据、调用第三方、服务用户。自主分析事件由客户端产生,反应式事件来自外部调用结果;是否写入流取决于它对业务是否构成可复用事实。客户端应按显式模式生成数据,并容忍多个应用版本长期并存。支付返回的结果与追踪号值得持久化,纯请求接受状态则须与最终完成区分:原书把HTTP 202视为第三方会完成工作过强,RFC 9110 §15.3.3仅表示请求被接受处理,最终可能不执行。
外部API查询会引入随执行时间变化的结果;重放还可能突然增加调用量,需限流、超时、错误和幂等设计。队列式独立任务可并行,对同键顺序有要求时则不能无条件并发。
向用户服务物化数据时,内部状态分布在实例上,需由键计算分区,再按当前所有权路由。智能负载均衡可减少随机命中后的二次转发,但再平衡有竞态,实例仍须能够重定向。热副本可承担读取但有复制滞后。外部库使每个实例访问全量状态,可把API与处理器合在一个执行体,或分成同上下文的两个执行体独立扩缩;后者要共同测试和部署,不能变成跨上下文共享数据库。
请求可直接操作本地模型,也可先写事件再物化。事件优先提供耐久来源,却造成异步读后写延迟,UI应区分已提交、处理中与完成,并处理重试重复。并非每个鼠标动作都值得记录:报纸例子保留最终版面事件与编辑/广告商审批事实,普通排版操作可留在同步应用内部。版本号防止不同稿件审批混合,拆分广告审批服务后,它只公开汇总,编辑无需知道内部邀请与响应细节。
微前端把前端片段及相应后端交给同一业务上下文,组合层负责拼装,避免混入搜索、评论等业务规则。事件数据让服务可更换存储和单独演进,但统一样式、公共组件治理、局部加载失败和部署成本仍需管理。体验搜索案例把评论分离,并让搜索独立采用地理位置索引,体现业务边界与可重建数据带来的演进能力。
外部事件与接受状态展开这一机制的用途和边界。
外部调用限制重放确定性展开这一机制的用途和边界。
分片状态的请求路由展开这一机制的用途和边界。
服务层与处理层的组合展开这一机制的用途和边界。
事件优先写入与异步UI展开这一机制的用途和边界。
审批事件封装版本进度展开这一机制的用途和边界。
微前端沿业务纵向拆分展开这一机制的用途和边界。
原书依据 · 7 处
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
- Integrating Event-Driven and Request-Response Microservices · 查看原书依据
第14章 Supportive Tooling
服务和事件变多后,口耳相传不足以维持自治。服务到团队的所有权系统是基础:它与流写入权限关联,明确谁能改契约、重置状态和批准访问。流元数据可标注所有者、敏感性、命名空间、弃用状态;弃用流应停止新增消费者,再逐步迁移既有依赖。
Schema registry集中保存模式,以ID放入事件减少重复传输,生产者与消费者缓存模式以降低查询。契约变更通知可结合模式、流依赖和团队映射定位受影响者。ACL用服务身份强制输入可读、输出单写、内部流私有;权限历史也可供审计。但“允许读”仅代表潜在依赖,不证明实际读取,拓扑应结合运行信息理解。
自助工具还应提供配额、offset管理、状态重置、标准服务创建和部署资源控制。重置不是仅把offset归零:旧状态、内部流、changelog与输入边界要一致处理,且只有所有者有权限。lag监控应看趋势和吞吐背景,并用滞回减少扩缩抖动。
多集群用于隔离、地域与灾备。复制需验证新删流、分区、offset、时间戳、延迟和容量能否保持,不能假设跨集群位置相同。程序化创建代理、计算及配套工具能支撑临时环境和恢复演练。依赖图结合所有权可展示血缘与跨队连接,但减少边数不是唯一目标;团队能力、工作量和业务目标决定最终归属。
所有权元数据支撑自治展开这一机制的用途和边界。
模式注册与变更通知展开这一机制的用途和边界。
ACL落实流边界展开这一机制的用途和边界。
应用重置与Lag扩缩展开这一机制的用途和边界。
跨集群复制与可重建平台展开这一机制的用途和边界。
拓扑边数不等于组织目标展开这一机制的用途和边界。
第15章 Testing Event-Driven Microservices
测试从小函数扩展到拓扑,再验证真实组件与运行环境。无状态变换容易独立验证;有状态函数要控制起始状态、输入序列和时间。拓扑测试驱动器可在无需真实代理时注入特定时间戳、乱序、坏值与边界数据,验证组合行为;它不能代替代理事务、网络与真实资源的集成测试。schema演进也应进入代码提交检查。
本地集成环境至少包含代理、模式服务、所需状态与处理框架。可嵌在测试运行时,或用容器提供一致依赖;语言兼容性和框架限制影响选择。测试应控制代理/模式/存储失效、网络、分区、实例加入退出及恢复,验证状态与所有权一致,并观察API能否继续服务。托管服务若无本地等价实现,需要模拟器或远程资源,同时记录哪些语义未覆盖。书中的模拟器可用性是2020年背景。
远程临时环境更适合接近生产的容量和恢复验证。输入可复制生产数据、使用人工策划集或按schema生成:前者真实但有权限、敏感性和资源成本;策划集覆盖特定关系却易陈旧;生成数据便于边界和模糊测试,但字段合法不代表关联、热点和分布真实。应匹配生产分区数并明确选择样本范围。
共享测试集群起步简单,却容易互相污染数据、争抢资源和留下无主流。应规定命名、写权限、稳定输入和清理责任。生产旁路测试可用独立状态与输出观察真实数据,但不能拿生产容量随意做压力测试,还须隔离副作用。程序化环境创建、数据装载和拆除的投入,同时成为灾备能力的日常演练。
函数测试与拓扑测试分工展开这一机制的用途和边界。
本地集成应控制故障展开这一机制的用途和边界。
测试事件的三种来源展开这一机制的用途和边界。
测试环境隔离与清理展开这一机制的用途和边界。
第16章 Deploying Event-Driven Microservices
部署自治依赖标准流水线和自助工具。CI把代码集成、构建、测试、模式与权限检查自动化;持续交付保持可部署但由人决定上线,持续部署则自动推进。状态服务还要考虑恢复时间、重放输出、代理负载和下游SLA,而非只看进程启动。
全停部署先验证输入输出流与权限、兼容性,停止旧实例,按需求协调清理状态和消费边界,再启动新版本并验证lag、日志和接口。若保留旧服务、状态与组,可提高回退速度;随意清空后仅切旧代码未必能快速恢复。
滚动更新让新旧逻辑短期共存,只适用于状态、内部schema与拓扑兼容的变化,不能把所有小代码修改都当作可滚动。破坏性契约变更则需要新流:双流并行迁移减少同步排期,但要求可同时定义两种事实且不造成业务不一致;同步迁移适用于不能并存的领域改变,回退更难,必须提前演练。
蓝绿让新服务使用独立组和状态追赶后切换同步流量,旧版短期保留用于回退。但若两版都消费同一输入并写同一业务输出,会覆盖实体或产生重复事件。因此本书限制这种形式;若要用于有输出处理,必须另行设计输出隔离与切换,不能只复制两套进程。监控和告警也需认识两组并存阶段。
持续交付与部署的区别展开这一机制的用途和边界。
全停部署的状态边界展开这一机制的用途和边界。
滚动更新须兼容共存展开这一机制的用途和边界。
双流迁移与同步迁移展开这一机制的用途和边界。
蓝绿输出必须隔离展开这一机制的用途和边界。
第17章 Conclusion
结语把全书重新连接起来:数据通信层保存与分发可信事实,使业务实现不再兼任所有消费者的数据接口。业务边界决定服务职责,显式schema约束意义与演进;数据解放让既有系统进入这条公共叙事。小型服务只是结果,少量较大服务同样可以先改善数据传播。
实施时要支付代理、模式、容器、流水线和监控等平台成本,再按问题选择BPC、FaaS、轻型或重型框架。工具并非越多越好,自治需要测试、恢复与部署边界支撑。事件数据能让新服务组合已有事实,却也放大重放对代理和下游的负载。
结语以薄服务层继续提供旧数据、后台独立重建为例,再次提醒可用性、鲜度和部署复杂度可以交易。是否使用蓝绿或更简单的分层方案,应由SLA决定。结语主要复述前文,没有新的独立机制;其归纳保留在此及跨章综合,不重复生成知识卡。
跨章综合
全书的核心是把共享业务事实从具体实现中解放出来,而不是把每个函数拆成服务。第1–3章确定谁拥有事实以及事实怎样保持含义;第4章使旧系统进入这套通信结构。第5–7章解释一旦事实被并行读取,键、时间、状态与进度如何共同决定正确性:分区解决局部性,时间调度解决跨输入关系,事务和恢复解决故障边界,三者互不能替代。
第8章从单服务走向工作流,提示业务动作的依赖仍然存在。第9–12章提供不同运行实现:FaaS和基础客户端灵活但需自行补时间/状态能力,重型框架有独立集群,轻型框架更多复用代理与容器。选型应依据实际语义和运维能力,不能只按代码行数或框架名称。
第13章把接口、用户和审批重新接回事件世界,暴露异步鲜度、请求结果与状态查询之间的差别。第14–16章则说明自治并非“无需管理”:所有权、权限、schema、测试数据、恢复和部署流程必须显式化。可重放的数据降低重建成本,同时也会增加代理和下游负载,现实副作用必须单独约束。第17章以薄服务层与后台重建的取舍收束,强调满足业务SLA而非追求单一模式。
发散与实践
读者延伸:优先“深读拓扑测试与提交边界”(ideas/idea-001-深读拓扑测试与提交边界.md),已核验Kafka固定版本官方入口并形成首轮映射;再用“选择状态服务部署方案”(ideas/idea-002-选择状态服务部署方案.md)准备下一次真实变更。两者均为计划交付,未运行实验或上线。
准确性补注:第13章HTTP 202语义按RFC 9110 §15.3.3限定为接受处理;第12章连接示例已明确标出空值和连接类型矛盾,不作为可执行示范。