消息系统四要素
设计消息系统先回答四个问题:方向,单向还是请求/应答;目的,它决定了消息内容;时间,立即收发还是异步稍后;传递方式,直接点对点还是经由代理。请求/应答在异步或多节点时会变复杂:任意两节点间看都是单向的,真正把它和单向通信区分开的,是保存在发起方的请求与应答之间的关联,应答通常在请求的上下文里处理。
主题对照
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
设计消息系统先回答四个问题:方向,单向还是请求/应答;目的,它决定了消息内容;时间,立即收发还是异步稍后;传递方式,直接点对点还是经由代理。请求/应答在异步或多节点时会变复杂:任意两节点间看都是单向的,真正把它和单向通信区分开的,是保存在发起方的请求与应答之间的关联,应答通常在请求的上下文里处理。
开源和企业领域的消息中间件产品众多、各有侧重,企业内各系统使用也不统一,给开发和运维带来很大麻烦。消息平台在适配开源中间件的基础上,构建统一集群和注册中心,面向业务应用屏蔽不同中间件的使用差异,对外提供统一的消息编程接口,并补充监控和运维管理能力,以简化开发、降低运维成本。
任务可经消息中枢异步转发,也可由包工头与工人直接通信。前者适合两端不能互连、但均可连接中枢的网络条件;额外中转和单个中枢会带来容量与故障风险,书中所述部分精细控制能力也未在该模式实现。后者减少中转,支持工人间直接交换数据,却要求节点互连。作者把“包工头调用工人”和“工人互传数据”分成不同 API,以降低错误复用同一阻塞调用造成循环等待的风险;接口分离不能证明所有调用路径都不会死锁。两种模式的选择应看网络可达性、消息量、数据大小和故障恢复要求。
结构图:
flowchart TB
A["包工头-工人通信两种模式"]
A --> M["消息中枢模式<br/>适合两端不能互连<br/>代价:中转容量与故障风险<br/>部分精细控制未实现"]
A --> N["网状直接交互模式(默认推荐)<br/>包工头↔工人直接调用<br/>工人↔工人也可直接调用(用于合并)"]
N --> D["分开工头调工人与工人互传API<br/>降低误用阻塞调用的风险<br/>仍需检查其他循环等待路径"]
消息中枢适合双方网络不可互通、任务量连续但不大的场景,因为它把通信变成异步转发;但大数据并行计算会被中转节点的容量和带宽限制。通信模式不能只看解耦程度,还要看数据路径是否会变成长链路瓶颈。
评估消息系统可以问两个问题。一,生产者比消费者快怎么办:丢弃消息、放入缓冲队列,或用背压阻塞生产者,Unix 管道和 TCP 用的就是背压;若缓冲,还要问队列超出内存时是崩溃还是写磁盘,以及对性能的影响。二,节点崩溃或掉线会不会丢消息:取决于写磁盘、复制等持久性投入,而持久性有代价。能接受偶尔丢失的场景,如周期性传感器读数,可换来更高吞吐和更低延迟;事件计数这类场景则必须可靠送达。
原书拍卖系统用竞价生产者把出价送给抓取、跟踪和分析服务,比较主题发布订阅与逐队列发送:
| 关注点 | 主题方案 | 逐队列方案 |
|---|---|---|
| 新增消费方 | 订阅既有主题,生产者通常不用改 | 新建队列并调整生产者连接 |
| 数据契约 | 消费方共享一份契约 | 可为消费方分别定制 |
| 访问与伸缩 | 原书示例存在旁听风险,不能按其机制查看每个消费方队列积压 | 示例可隔离队列并分别观测、伸缩 |
前一行利于扩展,后两行可能利于隔离与按消费者治理。原书明确提醒监控和伸缩结论依具体消息技术而异;安全问题也需按实际权限机制重新评估,不能把示例当所有产品的定律。选择取决于业务优先级、部署环境和技术约束,与[[架构权衡需反复评估]]相连。
Channel 是定义事件转发和持久层的 Kubernetes 资源,底层可以是内存、Kafka、NATS 等实现。抽象让拓扑定义和中间件选型解耦,但各实现的持久化、顺序、吞吐和投递保证并不相同:内存实现适合开发测试,生产选型要显式确认持久化、失败策略、顺序和扩缩容能力。
WebSocket 聊天服务器单实例时,把收到的消息广播给本机连接的客户端即可;启动第二个实例后,连到不同实例的用户就互相收不到消息,因为广播只在本地,实例之间没有通信。书中用 Redis 做代理:每个实例把消息发布到频道,同时订阅该频道,再转发给本机客户端。Redis 常已作为缓存或会话存储存在,复用它可免去单独维护消息代理。
OpenStack的通信原则:项目之间通过RESTful API通信,项目内部不同服务进程之间必须通过消息总线。前者让对外接口能被各类客户端高效调用,后者保证内部通信的可扩展性和可靠性,以支撑大规模部署。系统越大,越要区分对外契约和内部协作协议。
多个微服务可直接订阅共享引擎的逻辑任务类型,付款服务接retrieve-payment,发货服务接ship-goods,流程不再额外调用它们的REST或消息接口。这减少基础设施并保留时间解耦,却让引擎成为跨服务共享通信资源,需要共同接受其中心地位。
Kafka 把生产者、Topic、Broker、消费者串成可重放的数据流;Kafka Streams 再把持续输入转为增量计算。发散:事件流的价值不只是异步解耦,还在于保留历史、重放状态和让计算逻辑随数据到达持续运行。
JMS 把连接、会话、目的地、生产者、消费者和消息拆成明确对象,发送与接收都围绕会话边界组织。发散:消息系统的可靠性不只在 Broker,还在客户端是否清楚提交、确认和消费循环的边界。
推送、短信与邮件使用不同的服务接口和目的地址。用户信息与设备信息分开保存,使同一用户可关联多个设备;通道集成应可替换,避免把第三方平台能力当作永久不变的业务前提。
通知入口完成校验、加载用户设置和模板,再把事件送入对应通道队列,由各自工作器发送。不同通道使用独立队列,可减少一个供应商故障拖累其他通道,并分别调整消费能力。
一套完整的SpringCloudStream中,生产者用Source配置消息生产通道,消费者用Sink配置消费通道,需要时还可自定义通道;传输时对象自动转为JSON,消费端再转回对象。发散:消息系统越复杂,越需要把通道和消息结构当成团队间契约管理。
事件驱动中若生产者必须等待处理结果,可用请求队列加回复队列实现请求回复。原书主方案在请求中记录消息ID,回复头的关联号设为该ID,生产者只接收匹配响应;另一方案为每个请求建临时回复队列,简单但大量并发时创建与删除队列会增加代理开销。这里仍有阻塞等待,不能因经过消息队列就称为完全异步。
消息系统多是单向异步的,但有时仍需要请求/应答。关联标识符是在单向通道上构建请求/应答的基石:每个请求带一个唯一 ID,接收方在应答里附上这个 ID,发起方维护“ID→回调”映射,据此把应答交给正确的处理程序,即使应答顺序与请求顺序不同。在 Node.js 里这与普通异步操作无异,封装后调用方完全感知不到。
有多个通道、队列或多个请求者时,只有关联 ID 不够,应答者还需要知道把应答发往哪里,即返回地址。在 AMQP 中,请求者创建一个随机命名、排他的临时队列作为回复队列,在消息属性里带上 replyTo 和 correlationId;应答者把结果用 sendToQueue 直接发回 replyTo 指定的队列。请求队列用持久队列时,应答者停机不丢请求,多开几个应答者还会自动负载均衡。
oslo.messaging为RPC和事件通知提供统一接口。RPC分两种:call同步执行,调用者阻塞到结果返回;cast异步执行、立即返回,结果需另行查询。事件通知发到总线,所有感兴趣的服务都可处理,但结果不回给发送者,Ceilometer就靠它采集。两者可用不同后端,如RPC用RabbitMQ、通知用Kafka。命令需要回应,事实只需广播。
在消息系统上模拟RPC要回答两个问题:回复送到哪里、回复属于哪个请求。客户端用replyTo指定回调队列,用correlationId为每个请求打唯一标记,服务端原样带回,客户端据此匹配;收到未知correlationId的回复可直接丢弃。目的地加关联ID,是在异步通道上模拟请求-响应的通用做法。
同步与异步描述调用方如何等待结果,不是由是否经过队列决定。Nameko示例用请求队列及回复队列实现阻塞RPC,通过服务名与路由绑定定位处理者,调用方不用知道实例地址。该机制仍依赖代理、关联响应和超时,不因为有队列就自动摆脱同步等待。
可联系[[同步用于后续必需的结果]]理解条件与边界。
异步通信不阻塞发送方。为让响应找到正在等待的流程实例,需要关联规则。推荐为每次通信在客户端生成一个 UUID 存入流程变量,专用于关联;不要用引擎自身的实例 ID,重启实例或厂商修改规则都可能改变它;谨慎使用订单号等业务数据,一笔支付拆成两笔时,一个订单号就对应两次请求。BPMN 还能把发送与接收合并进一个服务任务,把异步通信藏在后面,让模型更简洁、更易沟通。
Kafka 的协议请求由通用请求头和各类型独有的请求体组成;响应也有通用响应头和独有响应体。请求头中的 api_key 指明操作,api_version 指明该操作的协议版本,client_id 标识客户端。客户端还给请求分配 correlation_id,服务端在响应头中原样带回它,客户端据此把异步收到的响应交给对应请求。这个编号负责一次交互的配对,不等同于分区号或消息位移。字段结构以本书所述 Kafka 2.0.0 协议为准。
事件驱动系统共用单一消息代理,便于统一发现、日志和治理,基础设施也少;但代理故障或吞吐瓶颈会波及全部工作流。原书的领域代理模式让相关服务共享各自的代理,换取故障与容量隔离,代价是主题发现更难、成本和维护点增加。选择时比较领域隔离需求与集中治理收益,没有一方是普适“最佳实践”。
JMS(现称 Jakarta Messaging)是 Java 应用发送和接收消息的 API 规范,MOM 是负责存储和分发消息的中间件实现。客户端用连接工厂取得连接和会话,再由会话创建生产者、消费者并访问队列或主题。统一接口降低应用对特定消息提供者的依赖,但迁移时仍须核对配置、持久性和扩展行为。
另一种整合方式是消息代理,即分布式的观察者模式:结账服务只完成支付并发布一个购买事件;购物车服务、商品服务各自订阅,收到后分别删除购物车、调整库存。没有编排者,也没有服务之间的直接连接,同步信息的责任分散在各服务自身。代理还能提供持久化队列和消息顺序保证。
对等架构中每个节点要知道接收方的地址端口,并约定协议和格式;消息代理把收发双方解耦,节点可以与不定数量的对端通信而不必知道细节,还能在 AMQP、STOMP、MQTT 等协议间架桥,提供持久队列、路由、转换和监控。不用代理的理由:代理本身需要扩展,而对等只需扩展单个节点;去掉代理能大幅降低延迟,还不受特定技术限制,ØMQ 即为此而生。
ZeroMQ 专为高吞吐、低延迟场景设计,非常轻量,常见于金融行业。它没有中间件:不需要安装和运行消息服务器,由应用程序自己扮演服务角色,引用程序库即可收发消息。代价是只提供非持久化队列,宕机就会丢数据,而且复杂的队列模式要开发者自行组合各种组件来实现。
消息中间件把应用间通信封装成发送、接收或订阅消息,屏蔽底层传输差异,使异构系统能以异步方式协作。它降低了发送方对接收方接口的直接依赖;是否要求接收方在线,以及确认、积压、顺序等交付语义仍须按具体模式和实现设计,不能从“异步解耦”推定可靠投递。队列与主题的接收范围见 [[JMS队列与主题]]。
消息中间件承载流系统各模块间的数据传输,选型时要同时核对吞吐量、延迟、高可用、持久化和水平扩展。吞吐量会限制系统处理上限,传输延迟会抬高端到端延迟下限;故障后客户端能否自动重连、多副本能否恢复消息,则决定业务能否持续运行。发散:比较产品前先写出业务的吞吐、时延与数据丢失容忍度,否则“五项都支持”不足以说明它适用。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
软件架构方法论类
书籍类型:经典原理
清单覆盖 7/7
358 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/4
134 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 6/6
44 张卡片
来源书籍
JavaScript运行时与服务端工程类
书籍类型:工程实践
清单覆盖 5/6
174 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 7/7
54 张卡片
来源书籍
云基础设施平台类
书籍类型:工程实践
清单覆盖 6/6
41 张卡片
来源书籍
书籍类型:经典原理
146 张卡片
来源书籍
书籍类型:未标注
47 张卡片
来源书籍
消息中间件产品实战类
书籍类型:未标注
清单覆盖 9/9
53 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
云原生微服务实战类
书籍类型:工程实践
清单覆盖 5/5
42 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 7/7
48 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 5/5
75 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
70 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 5/5
52 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
121 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 2/6
97 张卡片
来源书籍
书籍类型:工程实践
33 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/7
106 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
书籍类型:经典原理
132 张卡片
来源书籍
书籍类型:工程实践
337 张卡片
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。
与 5 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类