先通知再拉取
院线排片后只发一条简短通知(院线编号、消息编号、内容),网络代售收到后再主动调用院线的 Web 服务接口拉取详细数据。通知可走消息中间件,也可按配置逐个回调代售方接口并记录日志。发散:通知只说“变了”,数据由需要方按需去取,发送方不必知道每家要什么。
主题对照
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
院线排片后只发一条简短通知(院线编号、消息编号、内容),网络代售收到后再主动调用院线的 Web 服务接口拉取详细数据。通知可走消息中间件,也可按配置逐个回调代售方接口并记录日志。发散:通知只说“变了”,数据由需要方按需去取,发送方不必知道每家要什么。
消费分推模式(Basic.Consume)和拉模式(Basic.Get)。推模式下RabbitMQ持续推送消息,个数受Basic.Qos限制;拉模式每次请求单条。把Basic.Get放进循环代替Basic.Consume会严重影响RabbitMQ性能,高吞吐应使用推模式。功能等价的两个API,底层开销未必对等。
DefaultMQPushConsumer让人感觉是Broker主动推送,实际是后台拉取到本地缓存,再以回调交给业务代码,本质和Pull消费者一样。Push省去手写拉取循环和提交位点,却让出了对拉取节奏的控制。排查消费慢或限流问题要看拉取线程和本地缓存。5.x的PushConsumer仍是内置长轮询拉取。
Push Consumer 把拉取、负载均衡和 Offset 保存交给客户端框架,业务只写处理函数;Pull Consumer 把读取队列、读取位置和节奏交给使用者。前者省心,后者自由,选择依据是业务是否需要精细控制消费进度。
RocketMQ 的 PushConsumer 不是 Broker 主动无限推送,而是在客户端以 Pull 为核心,再用线程池和阈值做流量控制。这种设计把背压能力留在消费端,避免 Broker 按固定速度灌消息导致慢消费者崩溃。
在本书所述的 RocketMQ 实现中,消费者主动发起拉取;暂无新消息时,Broker 暂时挂起请求,期间一旦有消息便沿现有连接返回,超时才返回空结果。它兼顾了拉取方控制节奏和消息到达后的及时响应,但挂起请求会占用服务端资源,连接规模仍须评估。这个机制补充了[[Push实为可控Pull]]的实现条件。
原书版本的 DefaultMQPullConsumer 会暴露全部 Message Queue,应用自己选择读取的队列和 Offset,因此能定制负载均衡,也必须负责分配与进度管理。它和自动重平衡的 PushConsumer 形成取舍:控制权越多,客户端要承担的协调工作也越多。
通知服务告诉客户端文件有变化,客户端再取元数据并下载所需块;离线客户端回来后补取变更。通知不承担传输完整文件的职责,低频单向变更通知可用长轮询,不必一律采用双向 WebSocket。
Kafka 与传统消息队列不同:已消费的消息不删除,按时间或分区文件大小清理旧数据。生产者推送消息到 broker,消费者主动拉取;ZooKeeper 负责集群配置、选举 leader 和消费组变化时的再均衡。同一消费组内一条消息只被一个消费者消费,不同消费组可以同时消费同一条消息,因此可同时接实时流处理和离线批处理。
逐个发送方拉取离线消息,客户端请求数会随好友数增加。改为按接收方一次批量查询,再由客户端按发送方分组,可减少往返;消息量大时仍需分页或按需拉取,不能把“一次请求”当作无容量上限。查询索引应匹配实际拉取条件。
系统消息或开屏内容若无强实时要求,可由活跃客户端在登录或进入页面时拉取,避免一次集中推送触达大量离线用户。拉取负载会随用户访问分布展开,但登录高峰仍可能同步形成尖峰;需要按实际访问曲线评估,并不能保证自然削峰。
群成员状态扇出大,即一次状态变化可能触发许多通知,而用户登录后未必进入每个群。书中假设每人加入 20 个群、每群 200 人且 20% 在线,则一次变化可能产生约 20×200×20%=800 次通知;这是忽略重复成员的示意估算,不是实测。
把拉取时机延后到用户打开某个群,可避免为未查看的群做查询或广播,并在真正需要展示时取得较新状态。
代价是首次进入群的请求延迟和离开页面期间的状态陈旧。
KafkaConsumer 的 poll 表面上是拉取消息,内部还牵涉位移、协调器、组成员、分区分配、再均衡和心跳。业务线程如果长时间阻塞在消息处理上,不只是处理变慢,还可能影响消费者与组协调机制的互动。消费循环应被当作协议驱动循环,而不只是 while 读数据。
消费者拉取快于工作线程处理时,若继续把批次无界提交给线程池,待处理记录会积压。书中线程池使用有界队列,并设置 CallerRunsPolicy:队列和工作线程都满时,由提交任务的消费线程自己执行处理任务,使它暂时放慢后续 poll(),形成简易反压。这能限制任务堆积,却也会延长消费线程再次轮询的间隔;设计时仍要核对消费组的轮询时限、单批处理耗时与业务失败处理。
fetch.min.bytes 指定服务端响应一次拉取请求前希望积累的最小数据量;调大可减少小批次响应、提高吞吐,但低流量时会增加等待。fetch.max.wait.ms 给这种等待设置上限,避免达不到最小数据量就一直不返回。调参时应把两者一起看:吞吐优先可接受更大批次与等待,低延迟场景则不能只调高最小字节数。书中 Kafka 2.0.0 语境的默认值分别为 1 B 和 500 ms,实际部署应按所用版本核对。
fetch.max.bytes 限制一次拉取请求整体返回量,max.partition.fetch.bytes 限制每个分区的返回量;两者都是控制批次大小的参数,不能误作消息绝对大小上限。本书说明:如果第一个非空分区的首条消息大于配置上限,Kafka 仍可返回它,让消费者继续推进。服务端能接受多大消息另由 message.max.bytes 或主题的 max.message.bytes 控制。因而排查大消息消费时,要分别看生产/服务端接收限制与消费者批次限制。
FetchRequest 在大量分区场景下会反复携带相同订阅状态,造成固定网络开销。fetch session 用 session_id 和 epoch 在两端缓存稳定状态,首次或变更时发全量,稳定后发增量。高频协议优化的关键,是把“不变的信息”从每次请求中拿出去。
拉取请求到达时,Kafka 先读一次日志。如果可返回的数据不足 fetch.min.bytes,服务端创建 DelayedFetch 等新数据或超时;被唤醒后再读一次日志并返回当时的结果。第二次读很关键:等待期间日志可能已有新消息,不能把首次读到的空结果直接返回。若首次读取已达到最小字节数,就立即响应,不进入延时管理器。这个机制减少分区暂时没有新消息时的连续空拉取。
结构图:
flowchart LR
A[收到拉取请求] --> B[第一次读日志]
B --> C{达到最小字节数?}
C -- 是 --> D[立即返回]
C -- 否 --> E[创建 DelayedFetch]
E --> F[新消息事件或超时]
F --> G[第二次读日志]
G --> H[返回当前结果]
同为 DelayedFetch,可唤醒它的外部进度取决于拉取方:follower 复制副本时看 leader 本地日志是否追加消息;普通消费者通常看高水位 HW 是否增长;设置 read_committed 的消费者还须避开未完成事务,其可见上界由最后稳定偏移量 LSO 限制,因此看 LSO 增长。已追加、已复制和已对已提交读取可见,是三个不同条件;把它们混用会让等待提前返回,或错过可以返回的数据。这里记录的是本书 Kafka 2.0.0 的触发路径,事务细节仍须结合后文复核。
推模式由 broker 主动发送,通常能减少等待,但必须限制下游可承受的速率;拉模式由消费者主动请求,可按自身处理能力控制批量,却会受到轮询间隔等因素影响。比较两者不能只看“实时性”:当下游偶尔变慢,推模式要有反馈或限流,拉模式要有合适的拉取节奏和堆积监测。这里讨论的是书中的模式取舍,具体产品仍可能组合长轮询、预取等机制。
普通读取可分别获取指定Entry与最新LAC;单独读LAC需等待多数Bookie答复。Twitter在书中版本把两种操作合成长轮询:Bookie等待写者推进LAC,再同时返回新LAC和对应Entry,省去多轮网络交互。长轮询也使用[[推测读降尾延迟]]机制,以减少慢副本造成的尾延迟。
某音乐公司最初的数据流架构,是清洗后的数据由数据实时清洗平台(ETL)直接、实时地推(Push)写入HDFS——这个架构需要维持长连接,运行起来非常不稳定,隔三差五就出现数据异常,进而导致下游的计算结果也跟着异常。团队最初尝试了很多具体的技术手段去优化这个问题:保证长连接的稳定性、连接断开后的重试机制、调整HDFS服务端参数,但这些局部优化都没能彻底解决问题——每天异常不断,旧异常还没处理完,新异常又冒出来了。真正的转折点是团队意识到不能再停留在”优化具体技术点”这个层面,而要从架构本身入手:在数据实时清洗平台之后加入了一层Kafka(数据缓存重用层),清洗后的数据先写入Kafka,离线计算不再依赖直接、实时、长连接的推送方式,而是改为由新开发的KG-Camus组件(参考LinkedIn的Camus实现),通过作业调度系统按固定间隔定时拉取数据到HDFS——数据消费模式从”推”彻底转变为”拉”,不再需要维持HDFS Client的长连接,不同业务还可以根据自己的实际需求配置不同的拉取时间间隔。这次架构调整上线之后,此前反复出现的那类异常基本再也没有出现过。这个案例揭示了一条排查”持续性、反复出现的系统性故障”的重要经验:当针对具体技术细节的一轮又一轮优化(调整参数、加重试逻辑)始终无法根治一类反复发生的问题时,这往往是一个信号,说明问题的根源不在某个具体的实现细节,而在于架构本身的通信模式选择(这里是”推”这种要求维持长连接、实时性强但容错性差的模式)——遇到这种情况,与其在同一个架构模式内部持续打补丁,不如认真评估是不是应该切换到一种从设计上就天然更健壮的通信模式(这里是”拉”模式的定时批量消费,不依赖脆弱的长连接、可以自然容忍短暂的网络波动)。
批量一次取多条减少往返,预取让工作者提前缓存下一批,提高吞吐。批量越大越可能增加单条等待、内存和故障重投量,慢工作者占住消息也影响公平;需同时控制在途数量。
提高消费吞吐有两招:多条一起处理远快于逐条时(如批量更新数据库),把consumeMessageBatchMaxSize从默认1调大,一次收到N条;发生短时间无法消除的严重堆积时,丢弃不重要的消息,如某队列堆积超过9万条就直接丢,让Consumer追上Producer。后者以个别消息的完整性换整体不落后,只适用于可丢的消息。
批量发送把同一主题的多条消息打包,减少网络调用。实现上不另起一套逻辑:调用batch()把消息封装成MessageBatch,每条消息按固定格式编码后聚合成一个byte数组放进消息体,服务端按同样格式切分解码。这样批量与单条的发送流程完全一样。让批量对象在类型上像单个对象,避免两套路径长期分裂。
prefetch=10限制消费者可持有的未确认投递数,达到上限后等待确认释放名额。它不是固定一次给一个实例连续十条、也不是必须十条全部完成才继续;合适消费者之间通常按轮转等规则分发,且受可用窗口影响。2026-10-27对照RabbitMQ官方确认文档核对。
可联系[[作业队列让消费者分担任务]]理解条件与边界。
InFlightRequests 按节点保存已发送但尚未收到响应的请求。max.in.flight.requests.per.connection 限制单个连接同时在途的请求数:达到上限后,要等先前请求收到响应才能继续向该连接发送。这个计数可反映请求积压,但积压本身不能单独证明是 broker 负载高还是网络故障。书中 Kafka 2.0.0 的默认上限为 5;严格顺序场景还需结合 [[重试可能破坏顺序]] 考虑在途并发。
本书中的 leastLoadedNode 是当前在途请求最少的 broker 节点,依据是 InFlightRequests 里各节点尚未确认的请求数,不是 CPU、磁盘或网络的综合负载。图例中 Node0、Node1、Node2 分别有 3、2、4 个在途请求,因此选 Node1。元数据请求等操作可优先向它发送,以减少排队风险;这只是客户端当时可见请求量的判断,不能据此断定节点整体最空闲。
max.poll.records 控制一次 poll() 向应用返回的记录数上限,影响单轮需要处理的工作量。调大可能减少轮询开销并提高小消息场景吞吐,但如果业务逐条处理较慢,也会拉长下一次轮询前的处理时间。它与按字节控制服务端拉取响应的 fetch.max.bytes、max.partition.fetch.bytes 作用层次不同;不能只靠增大记录数解决处理能力不足。书中所列默认值 500 条属于 Kafka 2.0.0 语境。
RabbitMQ默认按取余轮询分发,不管消费者是否已确认前面的消息,可能一个忙死一个闲着。channel.basicQos的prefetchCount限制信道上消费者可持有的最大未确认消息数,达到上限就不再推送,确认后才继续。它像TCP滑动窗口,用在途量这个动态信号匹配供需。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
书籍类型:未标注
110 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/4
134 张卡片
来源书籍
消息中间件产品实战类
书籍类型:未标注
清单覆盖 9/9
53 张卡片
来源书籍
消息中间件产品实战类
书籍类型:工程实践
清单覆盖 6/8
35 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
35 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
26 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
22 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
74 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 5/5
52 张卡片
来源书籍
消息驱动与企业集成类
书籍类型:未标注
清单覆盖 8/8
77 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/7
106 张卡片
来源书籍
书籍类型:工程实践
337 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/7
57 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
442 张卡片
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类