两类事件接口
Addressable 表示对象能接收并确认 HTTP 事件,Callable 表示对象能接收事件并返回零个或一个新事件。前者适合事件终点,后者适合事件转换节点;区分这两类能力,平台才能把服务自由组合成事件处理拓扑。
主题对照
事件与消息的区别、事件建模与事件设计:事件键与单写者、事件大小与完整性、事件注册表与事件编排。
Addressable 表示对象能接收并确认 HTTP 事件,Callable 表示对象能接收事件并返回零个或一个新事件。前者适合事件终点,后者适合事件转换节点;区分这两类能力,平台才能把服务自由组合成事件处理拓扑。
按用途,消息分三类。命令消息本质是序列化的命令对象,触发接收方执行某个动作,携带操作名和参数,可实现 RPC,REST 请求就是例子。事件消息通知某事已经发生,带上事件类型和上下文,是让所有节点保持一致认知的重要手段。文档消息只传数据,既不告诉接收方如何处理,也不对应某个事件,命令的应答通常就是文档消息。
BPMN消息事件指引擎外部的触发,可启动实例或恢复等待实例,来源可以是方法调用、REST请求或消息代理。它不天然等于消息代理的订阅;通常需要胶水代码把外部通信转换为引擎调用。事件子流程可在实例任何等待位置接收取消消息并中断主路径。
FaaS事件分三类:同步推送,一个请求触发函数并等待返回,如网关网站;异步推送,对象存储上传或消息通知先进入服务,再由服务触发函数,不向客户端返回结果;拉取,平台持续探测触发源并主动拉取,适合消息队列等流数据。触发方式决定了错误处理与重试,见[[重试要求事件幂等]]。
事件代理和消息代理常被混为一谈,但设计目标不同。消息代理围绕队列:消息被消费确认后即从队列删除,多消费者共享同一队列时每个只拿到消息子集,给不出完整历史。事件代理围绕不可变、可重放的有序日志:事件持久保留而非消费即删,每个消费者独立维护自己的偏移量,能各自读取全部历史。正是”可重放的完整日志”这一点,才支撑得起把事件流当作[[事件流作为单一事实来源]]、支撑多消费者各自物化状态,单纯用消息队列做不到。
事件的键用于身份或分区,值描述发生的事实。实体事件以实体ID为键,值给出当时的对象状态,通常最后一条足以代表当前状态;有键行为事件可能只是一次交互,需要聚合多条才得到统计。无键事件则独立陈述一次发生。是否含键不能决定是否为实体,须依据业务语义判断。
每个事件流由一个逻辑微服务拥有生产权,明确谁对事实准确性负责,也能沿数据血缘定位问题。单写者并不要求服务只有一个实例,而是避免多个无共同所有权的业务同时定义同一流。应用访问控制应落实这种边界,消费者将自己的派生事实写入自己拥有的新流。
事件应包含理解事实结果所需的信息,只有“任务已完成”而没有结果,会迫使消费者到另一个位置查询,并引入多个一致性和保存边界。大载荷需先检查是否夹带无关数据或服务职责过宽;不得不存外部文件时,指针不是自动完整的事实源,必须管理对象不可变性、留存和可访问性。
事件跨中介、协议和消费者流转时,会受到大小、内存和存储限制。更稳妥的做法是在事件中放上下文和定位信息,把大型数据放到外部存储并通过链接访问;这也便于对详情数据做差异化权限控制。
消息里该放多少数据?作者只放发生变化的记录ID,不放数据副本,让消费者回到拥有数据的服务重新读取。这样多一次调用,却避开了更隐蔽的风险:消息可能在队列里滞留太久、先前的消息可能失败,携带的数据早已过时。若确实要在消息中传递状态,就要带上时间戳或版本号,以识别乱序和旧数据。
所有订阅方共用一份只含 ID 的消息,各订阅方收到后都要回查完整数据,查询压力随订阅方数量放大。应按订阅方需要设计不同消息:商品变更只给 SKU,状态变更给 SKU 和状态,属性变更给 SKU 和变化的属性。推送全量(订阅方直接用)和只推 ID(订阅方回查)之间要按场景取舍,消息越简略回查压力越大。
本书的事件代理需要分区、分区内严格顺序、不可变记录、offset定位、长期保留和重放。分区提高并行,offset让消费者独立追踪进度,耐久复制支撑故障恢复。保留时长必须满足业务重建要求;压缩流保存当前状态与无限保存完整历史是不同承诺。选型还需看工具、客户端、支持、分层存储和运维能力。
事件注册表把可消费的 EventType 持久化成目录,消费者可以据此发现 type、source、schema 和 broker,再创建 Trigger。它把“问别人有哪些事件”变成“查询平台资源”,降低事件驱动系统的隐性协作成本。
事件总线把“谁产生事件”和“谁处理事件”解耦。最直接的实现是同步遍历所有监听器逐个调用,监听器一多,产生事件的线程就被拖慢。Spark的LiveListenerBus改为异步:事件先放进队列,由专门线程投递给监听器,UI等消费者能及时刷新,调度等核心路径也不被拖累。代价是事件处理有延迟,队列还可能溢出,见[[事件队列满会丢]]。
事件中枢或通信代理接收服务发布的事件,并交给相应消费者。它连接生产者与消费者,但不同代理对保存和重放有不同设计。它是架构的重要基础能力,不能由“使用同一个队列工具”推出系统已经具备统一事件语义、幂等或完整历史。
可联系[[消息队列承接事件分发]]理解条件与边界。
Sequence 把一组 Callable 服务按顺序串成事件处理流水线,每一步都可以转换、过滤或生成新事件。它把通道和订阅的编排隐藏在 CRD 后面,适合“同一事件必须经过多个阶段加工”的场景。
Parallel 把同一个 CloudEvent 扇出给多个分支,每个分支可先用 filter 判断是否处理,再交给 subscriber 执行业务逻辑。它适合“一件事触发多类独立响应”的场景,比在单个消费者里堆条件分支更易演进。
事件通知把状态变化广播给感兴趣的服务,发送方不等待处理结果,比点对点 RPC 更适合分布式扩展。[[推拉混合采集]] 发散:当多个系统都关心同一事件时,通知比同步调用更能降低耦合。
当变化由人类行为触发时,频繁轮询可能大多只得到“没有更新”。本章将1-9-90比例套入Flickr/FriendFeed的历史示例,估算每天约290万次请求只命中约700次更新(约0.02%);这是特定假设下的估算,不是通用基准。若还要求低延迟,应比较事件通知成本与空轮询成本。
远程API轮询每次检查都要承担网络延迟和协议交互成本,重复的无变化查询因而比本地循环更昂贵。评估轮询设计时应把远程往返、连接和服务负载单独计入,不能用本地I/O的成本推断网络访问也便宜;实际差距还取决于协议、距离、负载和图中采用的吞吐量假设。
当数据由用户行为产生且需要及时触达时,事件模式让发布方在变化发生后通知消费者,可减少反复查询“是否更新”的空请求。它需要捕获、传递事件及相应框架,复杂度高于循环轮询;选择时应同时衡量变化稀疏度、时效要求和事件设施成本。
Knative Eventing 与 CNCF 无服务器工作组的 CloudEvents 规范保持一致,函数按该规范收发事件,并通过可插拔事件源和消息代理接入 Kafka、Pub/Sub、RabbitMQ 等。统一事件格式让不同生产者和消费者能直接互通。与[[事件后期绑定]]互补:一个解决何时绑定,一个解决格式互通。
消息队列把事件生产者和消费者解耦,让服务不必同步等待彼此可用。发散:事件化通信提高韧性,但也要求处理重复投递、顺序、延迟和最终一致的业务语义。
事件驱动是一种异步、高扩展的分布式架构:发布者产生事件,经过消息代理转发,订阅者消费,双方不需要知道彼此存在,处理链路因此可以独立扩展、重试和削峰。推论:它换来的不是免费的性能,而是把一致性、顺序、幂等和可观测性问题从调用栈转移到了消息流里。
事件驱动把“发生了什么”发布出去,让订阅者自行决定如何响应。它适合跨服务副作用和最终一致性场景,因为生产者不必知道消费者是谁;代价是调试链路、消息顺序和重复消费都要被显式治理。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
110 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 7/7
59 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 6/6
44 张卡片
来源书籍
云原生微服务实战类
书籍类型:工程实践
清单覆盖 7/7
52 张卡片
来源书籍
JavaScript运行时与服务端工程类
书籍类型:工程实践
清单覆盖 5/6
174 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
54 张卡片
来源书籍
书籍类型:经典原理
146 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 5/5
42 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
56 张卡片
来源书籍
框架类
书籍类型:经典原理
清单覆盖 8/8
43 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
100 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 7/7
48 张卡片
来源书籍
书籍类型:未标注
62 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
书籍类型:工程实践
38 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。
主题索引
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
与 5 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类