返回主题:价值与代价:解耦、异步与削峰换来了什么

知识卡片

普通读书笔记卡

消息队列削峰的本质:通过限制出队速率控制并发写流量

理解等级:未标注

消息队列在系统架构中承担三个主要作用:一是解决系统间耦合的异步调用(见[[消息队列解耦的核心价值用户注册激活邮件案例]]);二是充当流量削峰的缓冲层;三是替代强一致性分布式事务、实现最终一致性方案。就削峰这一用途而言,其核心机制可以用[[三种常见限流算法的对比令牌桶漏桶计数器]]中的漏桶算法来类比理解:漏桶算法的本质是”不关心流量入口有多大,只关心出口流量有多大”,消息队列削峰同理——通过限制消息队列的出队速率(即消费者从队列中取消息进行处理的速率),来保证真正打到后端存储系统上的并发写流量始终可控,无论前端瞬间涌入队列的流量有多大。以RocketMQ为例,如果Consumer采用Push模式订阅消息,可以把工作线程数设置在一个合理范围(比如100),那么单位时间内实际并发写的最大流量就会被始终限制在这个线程数以内,不会随着队列入口的流量波动而波动。这个思路解决的问题很明确:如果并发写流量过大,会直接降低后端存储系统的吞吐量、导致RT线性上升,存储系统容量可能瞬间被撑爆而引发雪崩;消息队列的削峰能力,本质上是把”流量的波动性”隔离在队列这一层,让后端存储系统始终只需应对一个被人为拉平、恒定可控的写入速率,而不必直接承受前端流量的真实峰值形状。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第3章《削峰填谷——流控方案》"3.4.3 基于消息队列的一些典型案例"节(源文件:OEBPS/Text/0008.xhtml) - 结论依据:原文说明"回顾一下3.2.1小节的漏桶算法,其本质是我们并不需要关心流量的入口有多大,只需要关心出口流量有多大即可,消息队列同理,通过限制消息队列的出队速率来保证流量可控",并举例"假设 Consumer 使用的是Push 模式来订阅消息,我们可以将其工作线程数设置在一个合理的范围内,比如设置为100,那么单位时间内并发写的最大流量也就始终被限制在100之内",直接支撑本卡片结论。 - 原始内容:回顾一下3.2.1小节的漏桶算法,其本质是我们并不需要关心流量的入口有多大,只需要关心出口流量有多大即可,消息队列同理,通过限制消息队列的出队速率来保证流量可控……那么单位时间内并发写的最大流量也就始终被限制在100之内。