背压让生产速度受控
背压使处理不及的组件向上游表达减速或暂停需求,把输入速度约束在可处理范围内。它针对的是生产与消费速度失衡,可减少缓冲区、内存及其他资源被耗尽的风险;必须在链路参与方之间真正传递和执行。
主题对照
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
背压使处理不及的组件向上游表达减速或暂停需求,把输入速度约束在可处理范围内。它针对的是生产与消费速度失衡,可减少缓冲区、内存及其他资源被耗尽的风险;必须在链路参与方之间真正传递和执行。
Reactor与RxJava可用背压把消费需求反馈给生产方,结合缓冲、窗口和限速控制在途工作。drop策略只能用于允许丢弃的数据,不能为了保持吞吐丢支付或订单;缓存和预取仍要有界。
响应式流通过 Publisher、Subscriber、Subscription 等接口表达数据生产与消费关系,其中 request/cancel 让消费者反馈处理能力。发散:没有背压的异步只是把压力藏进队列,最终仍会在内存或延迟上爆出来。
并发越多不一定越好:下游已过载时继续加并发,只会制造更多错误,甚至把下游压垮。反压机制让发送组件实时上报流量和错误,当限流或高负载错误占比超过阈值,就通知并发池停止新建Worker、回收多余Worker;错误降到阈值以下,再逐步放开。这是负反馈,只在出错后才生效,所以还需要事前的[[集中调配限流配额]]。
行为日志解析有三种方式:定时大批量处理、逐条处理和小批量(Mini-Batch)处理。逐条处理实时性最高,但高并发时会大大增加服务端计算压力。小批量处理把几秒甚至更短时间内的行为作为一个独立数据集统一处理,提交的计算任务远少于逐条处理,仍保持近实时,是生产环境中更常用的方式,与[[微批处理流数据]]思路一致。
在书中带反向压力的 DAG 流水线里,整体吞吐量最终受最慢节点限制,各节点 TPS 会趋近,单看 TPS 难以定位瓶颈。应测量各节点处理事件的时延,先优化明显偏慢的节点,再重新压测与定位,直到达到目标。这个判断以该流水线结构和反压条件为前提;并行度变化后还要重新测量。
微批量窗口越大,吞吐和调度效率越好,但查询新鲜度越差;窗口越小,延迟越低却带来更多协调开销。实时系统调参不是追求最小窗口,而是匹配业务可接受的新鲜度。
RabbitMQ默认按取余轮询分发,不管消费者是否已确认前面的消息,可能一个忙死一个闲着。channel.basicQos的prefetchCount限制信道上消费者可持有的最大未确认消息数,达到上限就不再推送,确认后才继续。它像TCP滑动窗口,用在途量这个动态信号匹配供需。
Erlang进程不共享内存、靠邮箱传消息,上游长期快于下游,邮箱会膨胀到耗尽内存。RabbitMQ用信用证流控:credit耗光就阻塞,阻塞一路传到最上游;下游处理后补充credit,再逐级解除。流控作用于Connection、Channel和队列,看哪一层处于flow状态就能定位瓶颈。
流控分设两端:写入CommitLog持锁超过阈值说明Page Cache繁忙,Broker把排队中的发送请求取出直接返回SYSTEM_BUSY,快速失败而不是等超时;消费端给每个Queue设缓存条数和字节数上限(pullThresholdForQueue等),超过就对拉取做流控,不在客户端无限囤积。每一环都设上限,胜过在一端硬扛。
RocketMQ 的 PushConsumer 不是 Broker 主动无限推送,而是在客户端以 Pull 为核心,再用线程池和阈值做流量控制。这种设计把背压能力留在消费端,避免 Broker 按固定速度灌消息导致慢消费者崩溃。
PullMessageService 在发起拉取前会检查缓存消息数、消息大小等阈值,超过限制就延迟拉取,依据是[[ProcessQueue快照]]里的缓存统计。流控放在请求发出之前,比收到消息后再丢弃更稳;它保护的是消费端内存、线程池和业务处理能力。
上下游跑在不同线程、上游产生快于下游处理时,来不及处理的数据既不丢失也不被回收,在缓存池里越积越多,最终内存溢出,这就是背压问题。它不是RxJava独有,任何速率不匹配的生产者/消费者都会遇到。应对只能在几种取舍中选:无限缓存冒内存风险;设上限后丢弃,如只保留最新数据;或直接报错让上游感知。
响应式编程要求整条技术栈都是响应式的:Web 层用 WebFlux,数据访问用 Reactive Spring Data,安全用 Reactive Spring Security,客户端用 WebClient。只在局部返回 Mono 或 Flux 不会自动变快,链路中任何一个阻塞调用(例如传统的阻塞式 Repository)都会把线程重新占住,让整条链路退回同步模型。
Reactive Streams 里,数据流动由订阅者控制:订阅建立时并不传送数据,订阅者调用 request(n) 表明自己能处理多少,发布者最多只推送这么多。这就是通常所说的背压,它把“处理不过来”变成协议内的信号,消费者按能力拉取,而不是让发布者一味推送、队列无限膨胀。
max spout pending限制每个Spout任务已发出但尚未完成的根元组数量。达到上限就暂停发出,等确认、失败或超时释放名额,再继续读取;这样下游变慢会反馈到输入,避免无限堆积在处理器内存。总预算还要乘以Spout任务数,且它限制根输入而非所有派生元组的字节总量。
与[[队列解耦速度]]的联系:限制在途根输入将下游处理能力反馈到来源。
异步链路若持续接收快于下游处理,未完成任务会在无界队列堆积并耗尽内存。反向压力让上游按下游可承受的速率发送:可以由下游先声明可接收数量,也可以用有界队列在满时阻止继续提交。固定限速无法跟随下游能力波动。边界是必须把压力传到真正的入口,并规划拒绝、等待与超时行为。
把每段执行器的任务队列设为有界,并在队列满时停止继续提交,压力就能沿异步链向上游传播。书中示例用拒绝策略抛异常,再等待重试;这只说明一种实现方式,工程中还需规定中断、超时和入口过载时怎样处理请求,避免无限重试把工作线程拖住。
CompletableFuture 允许为异步阶段指定执行器,但这不自动限制任务积压。书中让执行器在资源不足时阻塞提交,以把下游压力传回上游;若特征提取慢于接收和解码,而上游仍无限提交,数据会在 JVM 内持续堆积。使用该方案时,执行器的队列容量、拒绝或等待策略也是处理链设计的一部分。
只限制 Spout 未确认消息数,可以抑制源头发送,却难以及时定位哪个 Bolt 阶段正在积压。书中较新版本还监测各级 Bolt 接收队列,在超过阈值时通知 Spout 限速,使流控能反映中间处理阶段的压力。反压设计应观察瓶颈处的队列状态;单个全局待确认上限容易引起吞吐抖动。
微批系统可在每批完成后测量处理时延、等待时延与消息数,估计当前处理速率,再把速率反馈给数据生产者调整输入。反压因此形成“测量—估计—限速”的闭环,使输入尽量跟上实际处理能力。书中以 Spark Streaming 的历史实现说明此机制;具体开关与控制算法须按使用版本核对。
书中 Flink 的上下游之间使用有限容量队列。下游消费慢使队列趋满,上游写入自然减速,压力沿数据链路向输入侧传播。诊断反压时应定位最先持续饱和的下游节点,并区分计算慢、外部写入慢与资源不足;只扩大上游吞吐会加重积压。
响应式流里的 Flux 表示 0 到 N 个元素的数据序列(Mono 是它 0 到 1 个元素的特化版本),服务端不是一次性把所有数据推给客户端,而是把整个序列拆成多个片段——背压(backpressure)机制下客户端处理完一个片段、主动发出信号后,服务端才发送下一个片段,如此往复直到整个序列处理完。这解决的是生产者和消费者速度不匹配的问题:如果生产端不受控制地按自己的速度推送,消费端处理能力跟不上就会被压垮(内存堆积、请求超时)。发散:背压是”拉”模型(消费者按自己的节奏索取)对”推”模型(生产者按自己的节奏塞)的替代,本质和 TCP 滑动窗口用于流量控制、消息队列里消费者手动 ack 后才拉取下一批是同一个思路——凡是生产消费速度不对等的两端对接,都需要某种反向反馈信号来防止快的一方压垮慢的一方。
下游告诉调用方剩余请求额度或接收能力,上游据此调整发送速率,可以避免所有压力到下游才被拒绝。反馈需要共同约定并被消费方遵守,返回一个报头本身不会自动限制上游。额度、并发与时间窗口含义应一致,还要避免消费方立即重试被限流请求。
可联系[[限流按容量和优先级分配请求]]理解条件与边界。
早期Java客户端的QueueingConsumer用LinkedBlockingQueue缓存推来的消息,堆积多了会内存溢出,还会拖累同一Connection下所有信道,也不支持自动连接恢复,4.x客户端起被标为废弃。用Basic.Qos限制未确认数可以间接限住缓冲;更好的做法是直接在回调里处理。无界缓冲只是把背压往后推。
接收端先验证数据并写入持久有序的缓冲,后续有状态写入进程再构建段文件。Kafka分区中的稳定顺序和偏移量,使进程重启后可以续读或重放。缓冲的保留期应覆盖故障恢复需要,不能把它当成无需容量规划的永久数据库。
下游中断时,持久缓冲暂存事件,恢复后可重放缺口,避免故障期间直接丢失遥测。缓冲也会被错误风暴填满,因此要规划容量与保留时间。恢复当前事故可先处理新数据,再补历史积压;“有Kafka”本身不是无限保存或自动恢复的保证。
大量应用直接写 HDFS 会增加并发访问和小文件数量。Flume 可让第一层 Agent 接收各应用日志、经 File Channel 缓冲并转发,再由少量第二层 Agent 集中写 HDFS。多一跳换来对存储端写入规模的控制;设计时还需为两层之间的转发配置负载均衡和故障回退。
[[队列解耦请求接收与处理]]缓冲入口流量,但若单个请求的处理速度长期低于到达速度,队列仍会积压。Parallel Pipelines 把长流程按业务边界拆成过滤器组件,用队列连接各阶段;下游按自身能力取消息,同一阶段也可配置多个消费者。这样能分段缓冲、独立扩容与定位故障。阶段间仍有必要的前后依赖,并非整条流程同时完成;失败后能否从中间继续,还取决于中间状态保存和重复执行的安全性。
结构图:
flowchart LR
A[请求进入队列] --> B[过滤器1: 黑名单检测]
B --> Q1[输出队列]
Q1 --> C[过滤器2: 防欺骗检测]
C --> Q2[输出队列]
Q2 --> D[过滤器3: 授权机构验证]
D --> Q3[输出队列]
Q3 --> E[过滤器4: 账户确认]
E --> F[过滤器5: 生成收据]
书中版本的 Samza 借 Kafka 缓冲输入和中间结果,下游变慢时积压先落到消息系统,而非直接撑满任务内存。重分区算子还会建立隐式中间流,因此只监控外部输入、输出主题会漏掉瓶颈。积压监控应覆盖每一级中间流,并结合消费速率、存储容量和任务资源判断能否追上。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
书籍类型:未标注
47 张卡片
来源书籍
消息中间件产品实战类
书籍类型:未标注
清单覆盖 9/9
53 张卡片
来源书籍
消息中间件产品实战类
书籍类型:工程实践
清单覆盖 6/8
35 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
74 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 8/8
42 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 7/7
48 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
可观测性/监控类
书籍类型:经典原理
清单覆盖 8/8
189 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
173 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
242 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。
主题索引
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类