知识卡片
多级缓存方案:如何化解分布式缓存的热点单点瓶颈
分布式缓存理论上可以通过水平扩容无限延伸容量,前提是数据分布和访问请求相对均匀——每个key按[[Redis三种路由算法的对比Hash一致性哈希分槽算法]]被路由到不同节点,天然分散了压力。但热卖商品这类场景恰恰打破了这个前提:同一个热点key会被大量用户同时访问,而这个key固定落在同一个缓存Slot(同一个节点)上,无论集群整体容量多大,单个节点的容量上限依然存在——就像某条爆款新闻,即使缓存系统单点能扛住10万/s的QPS,短短几分钟内百万级的留言和阅读流量依然可能瞬间撑爆这一个节点,导致连接资源耗尽,这正是分布式缓存天然存在的单点瓶颈。多级缓存方案的思路是引入本地缓存来分担这部分压力:本地缓存分布在各个WebServer节点中,接入层的负载均衡策略能确保用户访问请求相对均匀地打到不同WebServer节点上,因此WebServer节点越多,系统整体能扛住的QPS就越强,也就不存在所谓的”热点”问题——因为流量已经被负载均衡预先打散到了多个独立的本地缓存副本上,而不是都集中命中同一个远端缓存节点。实践中不建议把所有商品信息都放进本地缓存(避免OOM,见[[本地缓存的两个痛点内存占用与数据一致性]]),而是按访问热度区分:访问热度不高的商品直接走分布式缓存,本地缓存只存访问热度高的热卖商品,且理论上只需要缓存商品详情数据和商品库存这两类——图片视频等静态资源已经交给CDN处理。这个方案的核心洞察是:分布式缓存的水平扩容能力对”分散的流量”有效,但对”集中在单一key上的流量”无效,而本地缓存天然依附于WebServer节点、能借助接入层负载均衡把集中流量重新打散,两者结合正好互补各自的能力边界。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第4章《大促抢购核心技术难题——读/写优化方案》"4.3 同一热卖商品高并发读难题""4.3.1 多级缓存方案"两节(源文件:OEBPS/Text/0009.xhtml)
- 结论依据:原文说明"由于消息是缓存在固定的 Slot 上的,尽管缓存系统单点支撑10w/s的QPS没有任何压力,但是……分布式缓存的单点容量容易瞬间被撑爆",并说明"由于本地缓存分布在各个WebServer节点中,接入层的负载均衡策略可以确保用户的访问请求相对均匀,这样一来,WebServer的节点越多,系统整体的QPS就越强,那么自然也就不存在所谓的热点问题了",直接支撑本卡片结论。
- 原始内容:分布式缓存的单点容量容易瞬间被撑爆,导致资源连接耗尽……由于本地缓存分布在各个WebServer节点中,接入层的负载均衡策略可以确保用户的访问请求相对均匀,这样一来,WebServer的节点越多,系统整体的QPS就越强,那么自然也就不存在所谓的热点问题了。