长轮询挂起请求等待消息
HTTP 长轮询发出取消息请求后,服务端在暂时无消息时先不返回;有消息或等待超时才结束请求,客户端随后立即发起下一次。消息到达时可通过正在等待的请求尽快返回,无须不断缩短定时轮询间隔。请求超时取决于具体客户端、代理和服务端配置,并非固定 90 秒。
主题对照
比较长连接与推送通道、在线状态、群扩散与收件箱,以及到达率、推送模型与多端同步的取舍。
HTTP 长轮询发出取消息请求后,服务端在暂时无消息时先不返回;有消息或等待超时才结束请求,客户端随后立即发起下一次。消息到达时可通过正在等待的请求尽快返回,无须不断缩短定时轮询间隔。请求超时取决于具体客户端、代理和服务端配置,并非固定 90 秒。
长轮询请求返回后到下一次请求建立前,仍存在短暂空窗。例如上一请求正在返回、新请求尚未建立时,恰有消息到达,服务端当下没有可用的等待请求。
若消息在空窗到达,服务端需暂存并在新请求到来时交付,避免仅凭“总有请求在等待”的假设漏掉消息。
暂存机制还须考虑容量和过期时间;因此长轮询不能保证绝对零延迟。
CAT给每一条监控消息分配一个格式类似ShopWeb-0a010680-375030-2的唯一ID,这个ID本身并不是一串无意义的随机字符,而是被设计成四段有明确语义的结构:第一段是应用名(如shop-web);第二段是当前机器IP的16进制格式;第三段是当前时间除以小时得到的整点数;第四段是当前客户端在这个小时内的顺序递增号。这个设计带来两个关键价值:一是ID本身自带定位信息——不需要额外查表,只看ID就能知道这条消息来自哪个应用、哪台机器、发生在哪个小时;二是它天然支撑了分布式调用链路的串联——当A服务调用B服务时,A会先在本地生成一个Message-ID,在调用B的过程中把这个ID作为调用上下文的一部分传递给B,B在执行时会用A传过来的这个Message-ID作为自己这次操作对应的监控消息ID,而不是自己重新生成一个——这样一条横跨多个服务的调用链路上,所有相关的监控消息都能通过同一个(或者说是被传递下去的)Message-ID关联起来,故障排查时可以顺着这条ID一路追踪到调用链路上的每一个环节,而不需要事后靠时间戳、日志内容这类模糊线索去猜测哪些消息属于同一次调用。这个案例给出了一条ID设计的重要思路:一个ID除了满足”全局唯一”这个基本要求之外,如果能进一步把有价值的定位信息(来源、时间、机器)直接编码进ID的结构里,就能让ID本身成为一份自解释的索引,同时如果这个ID还能在跨服务调用时被主动传递、被下游复用,就能进一步承担起串联整条分布式调用链路的职责,这两点结合起来能显著降低故障排查时”从一堆分散的日志里拼凑出完整调用链路”的成本。
群消息内容已按群保存后,成员表可只记录每位成员最后确认的消息位置。成员重连时从该位置之后继续拉取,省去每人每条消息的离线引用记录。游标成立的前提是群内消息有稳定顺序,且游标之前的消息已连续确认;跳过缺口推进会造成漏读。
常见的消息推送模型有三种,各自的适用场景取决于系统对时序性和消息重复消耗的要求。长轮询拉取:早期常见做法是Nginx+Lua+Redis配合长轮询,主要问题是开销比较大、时效性也不好,能做的优化策略不多,目前已经不常用。直接推送:这是[[360消息系统的六大组件架构]]目前采用的模型,消息类型是”消耗型”的,且对同一个用户不允许重复消耗(如果需要多终端各自重复消耗,得把它们抽象成不同用户),好处是实时性好、开销小,消息直接下发给客户端、不需要客户端从接入层到存储层主动拉取;但纯推送模型有个根本性局限——因为系统是异步的,无法精确保证消息之间的时序性,这对纯粹的push通知需求够用,但如果想复用推送系统来做IM这类强调消息顺序的通信场景,就不合适了。推拉结合:对于严格要求时序性、且消息可以重复消耗的系统,通常走这条路——推送系统只负责发通知(附带消息ID等信息),客户端根据推送来的key主动从业务服务器拉取真正的消息内容,如果发现主从同步存在延迟,还可以配合推送的key做延迟拉取策略;同时可以利用消息本身的QoS级别做混合策略,比如”对方正在输入”这类低优先级消息就不需要走主动拉取,直接靠推送本身消耗掉即可。这三种模型的选择本质上是在”实时性/开销”和”时序保证/重复消耗支持”这两组诉求之间做取舍:越靠向纯推送,实时性和开销越占优、但时序性和重复消耗支持越差;越靠向推拉结合,越能满足强时序和重复消耗的需求、但要为额外的拉取环节和主从延迟处理付出更高的架构复杂度。
决定推送系统实际效果的,不只是服务端架构,客户端SDK和网络策略的完善程度往往才是消息能不能真正送达的关键。一,SDK的完善程度:选路策略要足够灵活——简单地对用户做Hash分配固定IP在国内网络环境下不可行,因为同一地区不同用户对同一IDC内不同IP的连通性可能不一致,甚至同一IP不同端口的连通性都会不同,所以分配器最好返回一组散列的IP和端口,必要时客户端多组都连不上还能拿到不同IDC的服务器;客户端还要对不同网络环境(WiFi/2G/3G)下的长连接IP做缓存,网络切换时重新请求分配器。二,恰当的心跳和读写超时设置:心跳要能根据网络环境和客户端消息活跃程度自适应调整并和服务端协商,弱网络下多久没收到ping响应就判定网络异常、要不要重连是个需要权衡的问题,不同网络环境读取不同长度消息的容忍时间也不能一刀切——好的心跳/超时设置能让客户端最快检测到网络问题并重建链路,同时在网络抖动时依然完成大数据传输。三,结合服务端做的特殊策略:比如选路时尽量把同一用户映射到同一个Room Service实例上,断线时客户端优先重试上次连接成功的地址,这样服务端可以在闪断场景下暂存该实例上的用户信息,重连时只需要做单实例内的迁移,减少延时和加载开销。四,客户端保活策略:很多创业公司觉得自建push系统不难,协议完备的情况下服务端确实能保证消息不丢,但真正的问题是”消息有效期内到达率上不去”——原因往往是自家App的Push Service存活能力不够高,大厂或云平台的SDK之所以更有保障,是因为它们会做”多个使用同一SDK的App互相唤醒”这类保活策略,这也是push SDK普遍走”单连接、多App复用”模式的原因,但这种模式又给流量归属统计、多App间SDK版本不一致等问题带来了新的复杂度。综合看,选择推送平台时应该优先看客户端SDK的完善程度,服务端方面则更看重接入点(IDC)数量是否够多、配合精细选路策略。
小群可通过发布订阅及时推送好友状态,大群每次状态变化都广播会产生巨大事件量。可改为进入群组或手动刷新时查询,降低扇出;代价是状态新鲜度与即时性的变化。
小群消息复制进每位接收者的同步队列,客户端只查自己的收件箱即可得到新消息。群较小时复制成本可接受;群很大时每条消息的扇出和存储会增长,不能无限沿用同一方案。
大部分用户采用写扩散,大粉丝账户采用读取时拉取,可兼顾读取速度和发布成本。混合策略处理的是社交关系带来的扇出差异;不能仅靠数据分布均匀就认定名人写放大已经消失。
每个终端可把上次拉取到的消息 ID 或时间保存为游标(同步位置),重登录后向服务端补取其后的历史;不同终端进度独立,不能共用一个游标。
云端历史通常受时间或条数保留策略限制,游标早于保留范围时只能按产品规则处理缺口,不能承诺完整漫游。
云到端推送前查询目标在线状态,可减少向明显离线端发送的无效请求。在线状态只是路由线索,可能在查询后变化,不能证明设备已收到消息;需要可靠投递时仍应保存待确认消息,并由接收方 ACK 关闭投递流程。
在线群消息也可能因服务、网络或客户端故障未到达。
先把正文写入群消息表,再为在线、离线成员记录待确认的 msg_id(消息 ID),随后推送在线成员。成员确认前保留这条待收记录,使推送失败后仍能凭 ID 补取正文。
推送动作本身不代表已投递,须以接收方应用层 ACK 更新进度。
群消息若为每个离线成员各存一份正文,存储量随离线人数放大。
把正文集中保存在群消息表,成员离线记录只留 msg_id,再按 ID 取正文,可减少内容复制;代价是读取时多一次关联或批量查询,并须保证正文在所有成员消费前仍可读取。
用户上线这样一个简单的状态变更,在社交网络场景下会带来惊人的扩散规模——比如一个有100个好友、加入了10个群(每群100人)的用户上线,状态变更理论上需要通知1100人。如果对所有需要通知的对象都用同一种方式(比如统一主动推送)来同步,要么造成巨大的瞬时推送压力,要么因为批量处理而牺牲部分场景的实时性。IM系统的常见做法是按”这类关系对实时性的要求”把通知对象分成不同层次,采用不同的扩散策略:对好友关系(实时性要求很高,好友上线用户往往希望第一时间看到)采用主动推送模式;对群成员关系(实时性要求相对不高,群里某人上线不需要被每个成员立刻感知)采用被动拉取模式,等群成员下次有交互或查询时才获取最新状态。这个”推拉分层”的设计模式并不局限于IM场景,Feed流、微博等大扇出场景也普遍采用同样的思路——本质是承认”用统一的强实时性方式处理所有下游”在扇出规模大时代价过高,主动按下游对实时性的真实需求分层,把有限的实时推送能力优先分配给真正需要的场景,其余场景改用成本更低的被动获取。
写扩散在发布时把帖子 ID 推到好友的时间线,读快但对大粉丝用户写放大严重;读扩散在读取时聚合,节省不活跃用户的预计算却增加读延迟。选择取决于读写比例和关系规模。
支付结果通知商户失败时,支付平台会按由紧到疏的间隔(如10秒、30秒、1分钟直至24或48小时)反复重试,但明确不保证通知最终一定送达,这要求商户服务端必须有能力正确处理同一笔交易结果的重复通知:先验证数据签名确认来源可信,再检查该笔订单是否已被处理过,已处理则直接返回成功而不重复执行业务逻辑。发散:这是”至少一次送达”消息模型的典型应用——发送方放弃保证恰好一次,把去重和幂等的责任转移给接收方,换取整体系统更简单可靠的实现。
用户 B 的状态变化要通知的是正在关注 B 的在线用户,即 B 的在线反向好友;这些人不一定等于 B 自己的好友列表。
把推送对象选成“B 关注的人”会漏掉真正需要观察 B 状态的人。此边界影响状态通知的扇出估算和收件人查询。
用户在手机端发消息时,若只投递给接收方各端,发送方的 PC 端会缺少自己发出的那条消息,却能收到后续回复。多端会话需把发送事件同步给发送方其他在线端,才能让各端对话上下文一致;原发端已拥有本地消息,应避免重复展示。
通用消息平台可由客户端 SDK、长连接接入层、逻辑层、在线状态缓存和离线消息库组成。
这些边界使平台不必为每个业务流程硬编码分支。
结构图:
flowchart LR
C[客户端 SDK] --> G[长连接接入 gate]
G --> L[消息逻辑 logic]
L -->|端到云| Q[消息队列 MQ]
Q --> B[业务服务]
B -->|云到端 RPC| L
L -->|直接投递或业务处理后投递| G
L -->|查询在线状态| R[Redis]
L -->|保存离线消息| D[数据库]
用户登录时先拉好友列表和在线状态,得到初始快照;之后好友状态变化可由轮询或推送补充。
初始拉取解决“现在是什么”,后续同步解决“之后变了什么”。例如快照显示 B 离线,而 B 在订阅生效前上线,这次通知就可能漏掉。此时须用状态版本补取空窗中的变化,或在订阅后再次校验;这是两阶段组合的边界推导,不是原书已给出的完整同步协议。
即时通信(IM)系统在架构上和普通的请求/响应型系统(电商、搜索)存在四个根本性差异,理解这四点是设计IM架构的起点。第一是实时性:这里的”实时”是相对概念而非绝对时间,快慢由用户预期决定——秒级、毫秒级的响应就足以让用户感知为”快”,不同业务场景对实时性的容忍度完全不同(IM要求几百毫秒到一秒内,普通站点应用可以接受更长延迟)。第二是推送性:这是IM区别于电商、搜索最本质的一点——普通系统是客户端主动发起请求、服务端被动响应;IM系统里服务端要在消息产生的瞬间主动把消息推给客户端,客户端完全不需要发起请求就能收到新消息。第三是消息可达性,即消息投递的可靠性问题,这背后有理论上界(见[[投递重试与业务去重]])。第四是状态一致性:IM系统里几乎所有请求都和”在线/离线”这类状态相关(在线才能实时转发,离线要存离线消息),而好友和群这种社交关系网络会让状态变更的扩散规模变得很大(一个用户上线可能要通知上千人),如何高效、一致地扩散状态变更是独立的架构难题(见[[状态扩散推拉分层]])。这四点共同决定了IM系统不能照搬普通Web系统的三层架构和请求/响应模型,必须专门设计消息推送、状态同步和可靠投递机制。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
书籍类型:未标注
32 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类