此笔记位置已失效,请从目录继续阅读。
全书导读
本书围绕流量增长时怎样维持性能、可用性和扩展性组织问题。阅读顺序是先认识资源约束,再理解存储、缓存与异步消息怎样改变负载,随后看服务化增加的通信和治理责任,最后用计数、未读数和信息流组合这些机制。具体产品与性能数值按原书时点理解,下面保留场景及适用边界。
全书主线
扩容增加资源,缓存避免重复工作,队列把瞬时工作移到以后处理。这三类手段并不等价:副本与分片改变数据位置,缓存引入陈旧窗口,消息重试引入重复处理。系统拆成更多服务后,还必须解释请求去哪里、耗时在哪里、依赖失败时怎样收缩影响。因此全书始终要求把性能收益同一致性、故障恢复及运维成本一起判断。
flowchart TD
A[明确业务与容量目标] --> B[定位资源或依赖瓶颈]
B --> C[扩容与拆分]
B --> D[缓存减少重复]
B --> E[消息缓冲与异步]
C --> F[协调数据与调用]
D --> F
E --> F
F --> G[监控追踪与故障隔离]
G --> H[压测和案例检验]
H --> A
I1 简介:课程目标与学习路线
这份EPUB来自唐扬的课程,开头介绍面向流量增长的系统演进经验。路线从性能、可用性和扩展性三个目标出发,随后讨论数据、缓存、消息、服务治理,最后以计数和信息流检验方案组合。讲师介绍、订阅与促销资料说明课程背景,不构成技术机制。
00 开篇词:为什么你要学习高并发系统设计?
高并发指许多请求在相近时间争用有限的计算、存储和网络资源。平时流量平稳的系统,也可能在促销、抢票等短时间窗口遭遇压力。学习目标是识别瓶颈和权衡,例如缓存以额外空间减少重复计算,队列把瞬时写入变成可缓冲的处理过程;这些机制在后文分别展开。
01 高并发系统:它的通用设计方法是什么?
系统容量有限时,可以把单机做强,也可以增加协作的机器;前者有硬件上限,后者带来分布式协作成本。缓存减少重复工作,异步处理把部分工作移出同步等待路径,扩容则增加资源。它们解决的瓶颈不同,架构演进应由具体问题驱动,不能把复杂组件当作成熟度的标志。
高并发设计可从三类基本手段入手:横向扩展把流量分摊到多个节点;缓存用更快的中间存储缩短访问时间;异步化让请求无须占用资源等待完整结果。它们分别改变计算供给、访问成本和执行时序,是方向而非可直接套用的实施方案。
结构图:
mermaid
flowchart LR
A[高并发压力] --> B[横向扩展]
A --> C[缓存]
A --> D[异步化]
B --> E[多节点分摊流量]
C --> F[缩短数据访问时间]
D --> G[减少同步等待占用]
E --> H[提升可承载请求量]
F --> H
G --> H
相关卡片:高并发三种通用路径。
系统应何时从纵向扩展转向横向扩展?初期优先用更强单机换取简单性;当并发量逼近单机极限,再用集群突破容量上限。横向扩展不是免费性能,它会引入节点故障、状态一致性和动态伸缩问题。发散:选型需同时比较容量收益与分布式复杂度。 相关卡片:单机与集群如何选择。
持久化存储成为访问瓶颈时,如何支撑更多并发查询?把热点数据放入更快的中间存储,用内存级访问代替频繁的磁盘寻道,可显著缩短响应时间。缓存不只是某个中间件,而是任何以中间存储降低响应时间的设计思想;其边界是需另行处理新旧数据一致性。 相关卡片:缓存以中间存储换时间。
耗时调用让大量请求阻塞时,如何提升单位时间内的接纳能力?可在业务允许延后获得结果时,先把任务放入队列并快速返回,待后台完成后再通知请求方。这不是减少业务工作量,而是重排执行时序、提前释放 Web 服务资源;不能接受最终结果延迟的请求不适用。 相关卡片:异步化释放同步等待。
初创系统是否应直接照搬超大规模架构?先用团队熟悉的最简方案满足当前业务和流量,再随真实瓶颈修补单点、性能和扩展问题;只有局部改造失效时才进入大规模重构。过早微服务化会让人力和技术积累不足的团队同时承担定位困难、性能下降与运维复杂度。 相关卡片:架构演进由问题驱动。
02 架构分层:我们为什么一定要这么做?
分层是把表示、业务处理和数据访问等职责分开。上层使用下层提供的能力,不必知道其全部实现,因此局部变化与扩容较容易限定范围。层次本身也增加调用和管理成本;相邻依赖、单一职责等原则的用途,是约束边界怎样划分和怎样变化。
分层架构把整体系统拆成职责独立、相互协作的多个层次。上层依赖下层提供的稳定抽象,不需理解其具体实现;下层实现只要遵守规约就能替换或扩展。发散:分层的核心不是目录数量,而是用边界限制变化的传播范围。
结构图:
mermaid
flowchart TD
A[表现层:接收指令与展示] --> B[逻辑层:业务规则]
B --> C[数据访问层:屏蔽存储]
C --> D[数据库或其他存储]
C --> E[统一抽象约束多种实现]
E --> F[上层无感替换底层]
相关卡片:分层架构隔离关注点。
系统中只有一类能力成为瓶颈时,如何避免为整体扩容?先用分层把职责与部署边界分开,再独立抽取、部署并扩展出现压力的层次。例如复杂计算使 CPU 饱和时,只增加逻辑层实例,而不复制未受压的表现与存储部分。发散:可独立扩展是职责边界清晰的可验证结果。 相关卡片:分层支持局部扩展。
多个端需要不同的业务组合时,如何避免把业务逻辑散落到表现层?Manager 层封装可复用的原子能力,如创建用户、获取用户、缓存与存储策略或第三方调用;Service 层按业务场景编排这些能力。这使端侧只处理交互差异,而业务规则仍集中在服务边界内。 相关卡片:Manager封装原子能力。
业务很简单时,表现层能否跳过逻辑层直接查库?功能上可行,但会让存储位置、访问方式等底层变化同时泄漏到多个上层。保持数据只在相邻层之间流转,可以让每层只知道直接依赖的契约,将变更的修改范围限制在最靠近变化的边界内。 相关卡片:相邻依赖限制变更传播。
分层明明会增加代码和调用链,为什么仍值得采用?中间层会带来数据转换、多方法调试与跨网络“多一跳”的成本,但它换来职责分离、复用、可替换实现和局部扩展。判断不应只看当前一次请求的代码长度,而要比较系统长期变化成本与性能损耗。 相关卡片:分层以复杂度换演进性。
分层是多项设计原则在架构尺度上的实现:单一职责要求每层拥有明确职责;迪米特法则将依赖限制为相邻层交互;开闭原则用稳定抽象隔离可替换实现。发散:原则的价值不在口号,而在它能否转化为可检查的依赖方向和变更边界。 相关卡片:设计原则约束分层边界。
03 系统设计目标(一):如何提升系统性能?
性能同时涉及一次请求等多久,以及单位时间能完成多少请求。平均值可能掩盖少量极慢请求,因此需要分位值描述尾部。并发数增加到资源竞争加重的拐点后,更多请求不一定带来更高吞吐;先确定瓶颈属于计算还是等待,再决定代码优化、并行或资源扩展。
高并发是系统需要承担大流量的前提场景,设计目标则是高性能、高可用和可扩展。高性能缩短用户等待,高可用减少不能服务的时间,可扩展让系统能在峰值到来时快速增加容量。三者都必须在明确流量规模下度量,脱离负载谈指标会失去设计意义。
结构图:
mermaid
flowchart TD
A[高并发场景:更大流量] --> B[高性能]
A --> C[高可用]
A --> D[可扩展]
B --> E[缩短响应时间]
C --> F[增加正常服务时间]
D --> G[快速扩容承接峰值]
相关卡片:高并发设计三大目标。
面对“系统还可以更快”的模糊需求,如何避免无效优化?先定义带负载约束的量化目标,再用数据找出主要瓶颈,集中投入高收益问题,并持续测量每次改动对响应时间与吞吐量的影响。提前优化会增加复杂度,甚至牺牲业务,因此没有数据支撑的“更快”不是可验收目标。 相关卡片:性能优化必须问题导向。
分位值先将一段时间内的响应时间排序,再取指定百分位位置的值;P99 表示 99% 的请求不慢于该值。平均值会把少量极慢请求稀释,最大值又会被单个偶发异常支配;分位值在两者之间提供可调的尾延迟敏感度,更适合表示用户群体体验。 相关卡片:分位值暴露慢请求。
如何定义一个可验证的性能目标?将负载、响应时间和统计口径写在同一条约束中,例如“每秒 1 万次请求时,P99 低于 10ms”。只说“平均很快”无法说明尾延迟,只说“10ms”也无法说明系统在何种压力下达标。发散:性能验收的本质是在给定容量下保证用户体验分布。 相关卡片:性能目标需同时约束负载。
阿姆达尔定律说明,固定负载下的并行加速上限由不能并行的部分决定:若可并行比例为 p、并行数为 s,加速比为 1/(1-p+p/s);当 s 无限增加时,上限仍是 1/(1-p)。因此增加核心不会自动带来线性收益,先缩小串行段往往比继续堆并行资源更有价值。 相关卡片:串行比例限制并行加速。
并发增加时,系统通常依次经历轻压力、重压力和超负荷区。轻压力区的吞吐量随并发近似线性增长;资源接近极限后,响应时间上升、吞吐增长停滞;越过拐点后,资源争抢使吞吐量反而下降。压测的重要目标不是测出最大一个数,而是找到容量边界及其首个瓶颈。
结构图:
mermaid
flowchart LR
A[轻压力区] -->|并发继续增加| B[重压力区]
B -->|资源达到极限| C[拐点]
C -->|继续施压| D[超负荷区]
A --> E[吞吐量近似线性上升]
B --> F[吞吐停滞、延迟上升]
D --> G[吞吐下降、延迟剧增]
相关卡片:拐点标记系统容量边界。
单次任务响应慢时,如何选择诊断方向?先判断耗时主要来自 CPU 计算还是 IO 等待。CPU 密集型用 Profile 找出高耗时算法或调用,再优化算法、减少运算;IO 密集型则通过分步监控与操作系统工具定位磁盘、网络或外部依赖。分类错误会让优化资源投向非主要矛盾。 相关卡片:CPU与IO瓶颈需分流诊断。
04 系统设计目标(二):系统怎样做到高可用?
可用性描述系统在需要时提供服务的程度。减少故障和缩短恢复时间都能改善它,因此既要考虑冗余切换,也要限制慢依赖、过量请求和变更带来的影响。超时、降级和限流各自牺牲一部分工作以保护整体;服务目标还须对应业务真正需要的结果。
高可用性是系统长时间无故障运行、持续向用户提供服务的能力。它不等于“机器不坏”,而是单个组件失效后,系统仍能通过冗余、切换或恢复继续履行服务承诺。用户量越大,相同中断时间影响的人越多,因此可用性目标应与业务影响而非技术炫技绑定。 相关卡片:高可用降低服务中断。
MTBF 是两次故障之间的平均正常运行时间,MTTR 是故障后平均恢复时间,可用性可表示为 MTBF/(MTBF+MTTR)。提升可用性有两条路:通过预防、隔离和冗余延长 MTBF,或通过检测、自动切换和回滚缩短 MTTR。发散:无法彻底消除故障时,缩短恢复通常更易获得量化收益。 相关卡片:可用性取决于故障间隔与修复。
为什么可用性目标越高,越不能依赖人工处理?当允许的年停机时间缩短到小时甚至分钟级,从报警送达、人员响应到登录排障的链路本身就会耗尽故障预算。四个九往往需要完整的值班与变更机制,更高目标则必须用自动检测、容灾和自动恢复替代人工临场处置。 相关卡片:更高可用性依赖自动恢复。
Design for failure 要求在设计时假定节点、网络和依赖一定会故障,而不是把故障当成低概率意外。设计因此必须预先回答两个问题:如何自动发现故障,发现后如何隔离、切换或降级。发散:冗余只是准备了备份,可靠的检测和切换机制才能把备份转化为真正的可用性。 相关卡片:故障应被当作常态。
故障转移是在服务节点失效后把职责转给可用节点。无状态的对等节点职责相同,失败后改访其他节点即可;主备节点职责不对等,需要心跳检测主节点、由多个备节点对新主达成一致、再完成切换。发散:状态和角色越不对称,故障转移协议越复杂。
结构图:
mermaid
flowchart TD
A[节点故障] --> B{节点是否对等}
B -->|是| C[选择另一无状态节点]
C --> D[继续处理请求]
B -->|否,主备| E[心跳判定主节点失效]
E --> F[备节点执行一致性选主]
F --> G[新主接管服务]
相关卡片:故障转移区分对等与主备。
下游不报错却持续变慢时,如何避免拖垮上游?为调用设置超时,到期就中止少量请求并释放线程等资源,防止阻塞持续累积成资源耗尽。超时太短会误杀正常请求,太长又失去保护作用;可以根据历史 P99 设定初值,再随运行数据持续调整。 相关卡片:超时用局部失败防止雪崩。
非核心服务在高流量下成为主链路瓶颈时,如何保住核心功能?临时停止、简化或用兜底结果替代非核心处理,把资源留给主体流程。降级不是普通故障,而是有意识地用局部功能或质量损失换取整体可用性;前提是业务已清楚区分核心与可牺牲能力。 相关卡片:降级牺牲非核心保主链路。
入口流量超过系统稳定容量时,如何避免所有请求一起失败?用限流器将接纳速率压在已知的承载边界内,对超出部分直接拒绝或延后处理。限流会牺牲少量用户体验,但可防止超负荷导致吞吐下降、延迟飙升和整体崩溃。它与降级的区别在于:前者限制请求量,后者削减处理内容。 相关卡片:限流拒绝超量请求保系统。
如何在真实流量下验证变更,又不把全部用户暴露给未知问题?先将新版本发布到少量机器,观察性能指标与错误日志,稳定后再逐步扩大比例;若指标恶化则停止并回滚。灰度的价值在于限制变更的故障半径,而非仅仅将一次发布拆成多次操作。 相关卡片:灰度发布分段暴露变更风险。
系统平时稳定,如何确认局部故障不会引发整体中断?主动注入节点、网络、磁盘或依赖故障,观察检测、隔离、切换和恢复是否如设计运作,从而在真实事故前暴露脆弱点。演练环境应与当前韧性成熟度匹配:未具备基本容错能力时,先在拓扑一致的非生产环境实施。 相关卡片:故障演练验证韧性假设。
配置服务为何能容忍较慢响应,却不能长期不可用?业务系统多在启动时获取配置,等待数秒主要推迟启动;取不到配置却可能阻断启动。因此应按调用场景分配性能与可用性目标,而非给所有组件套同一阈值。原书“六个九”只是示例,实际目标还要核算故障影响和建设成本。参见 高可用降低服务中断。 相关卡片:配置服务可慢不可缺。
原书依据 · 11 处
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
- 系统设计目标(二):系统怎样做到高可用? · 查看原书依据
05 系统设计目标(三):如何让系统易于扩展?
扩展性是资源增加后,系统处理能力能否相应增长。无状态计算通常较容易增加副本;有状态存储还要分配和迁移数据。局部扩容会把压力转移到数据库、负载均衡或网络,因此先按业务边界隔离,再针对容量或访问热点拆分,不能只增加应用实例。
高可扩展性是通过增加机器,让系统处理能力随资源投入近似线性增长的能力。它的关键不是“能加机器”,而是加了三倍资源后能否承载接近三倍流量。平时预留容量只能覆盖可预测波动;突发流量到来时,快速扩容是否有效才会暴露架构的真实扩展性。 相关卡片:可扩展性要求容量近似线性。
业务服务器扩容后,为什么整体容量可能不增长?请求链上的数据库、缓存、第三方依赖、负载均衡和网络带宽都有独立上限;扩大一层只会把压力推向下一个限制因素。因此容量规划要画出端到端资源链,根据流量量级预测哪个节点最先饱和,而不能只数应用实例。 相关卡片:扩容会转移系统瓶颈。
无状态服务的节点不保存必须随实例迁移的业务数据,因此新节点只要接入流量就能分担请求。有状态存储在增减节点时还需要重新分配、迁移并校验数据,扩容既慢又有一致性风险。发散:把会话等状态从计算节点外置,本质上是将易扩展的计算与难扩展的数据分开。 相关卡片:无状态服务更易扩展。
庞大系统中只有部分能力遇到容量上限时,如何降低扩容复杂度?将系统拆成职责单一、资源边界清晰的模块,使每个模块能根据自身的数据量、访问量和重要性独立选择扩展方案。拆分不直接创造容量,而是把整体扩容问题转化为多个可定位、可独立处理的局部问题。 相关卡片:拆分让扩展针对局部。
存储扩展可分两步:先按业务边界将用户、内容、评论等数据拆到独立数据库,使不同数据量和访问量的业务能独立扩展并隔离故障;单一业务库再超过单机上限时,按数据特征做水平分片。这两步解决的问题不同:前者分离责任,后者分散单一业务的容量。
结构图:
mermaid
flowchart TD
A[单体数据库] --> B[按业务拆分]
B --> C[用户库]
B --> D[内容库]
B --> E[关系库]
C -->|单库超过上限| F[按数据特征水平分片]
F --> G[用户分片1]
F --> H[用户分片2]
F --> I[用户分片3]
相关卡片:存储先按业务再水平拆分。
数据库拆分后,一个事务同时修改多个库,就需要额外协调各参与者全部提交或全部回滚。两阶段提交把原本的本地原子性转化为多节点协议,会增加网络交互、锁持有时间和故障处理。随数据库与资源规模扩大,该成本可能成为新瓶颈,因此业务边界应尽量让单次修改留在单库内。 相关卡片:跨库事务成本随规模上升。
业务层可从三个维度建立独立扩展单元:按业务领域分成用户、内容等业务池,让各自瓶颈能单独扩容;按重要性分核心与非核心池,便于优先保障和降级;按请求来源分外网、H5 与内网池,隔离不同流量特征。三种维度回答的分别是“做什么”、“先保谁”与“服务谁”。
结构图:
mermaid
flowchart TD
A[业务层拆分] --> B[业务维度]
A --> C[重要性维度]
A --> D[请求来源维度]
B --> E[用户池、内容池、关系池]
C --> F[核心池、非核心池]
D --> G[外网池、H5池、内网池]
相关卡片:业务层按三维度拆分。
系统拆分能提高扩展性,为什么不应过早进行?未拆分系统容量上限较低,但开发和运维路径简单;拆分后,一个需求可能横跨多个系统和团队,故障排查、发布、监控和值守也需要多套责任与工具。因此拆分应由已被证明的容量或隔离需求驱动,并在团队能承担组织复杂度时进行。 相关卡片:拆分用协作成本换扩展性。
06 面试现场第一期
当前EPUB只有“面试现场第一期”的标题,未包含问答正文。此处保留阅读位置,不补造题目或答案,也不据标题推导技术知识。
07 池化技术:如何减少频繁创建数据库连接的性能损耗?
池化是把创建昂贵、会反复使用的对象集中保存和复用。数据库连接和工作线程都适合讨论这个机制,但池容量、等待队列和对象有效期是不同约束。容量不足会排队,容量过大又会压垮下游;因此除了复用,还要有失效检测、预热和过载观测。
池化把创建成本高、会被频繁复用的对象预先保存在池中,以额外内存和启动时间换取请求路径上的低延迟。它还把对象的分配、回收和容量限制集中管理。只有当对象创建确实昂贵且使用频繁时,这笔交换才划算;低频对象进入池中反而会长期占用资源。 相关卡片:池化用空间换取创建时间。
什么时候值得引入池化?先比较对象创建与实际工作的耗时占比,再判断复用收益。书中案例里,MySQL 建连约耗时 4ms,而单条 SQL 平均约 1ms;每次建连只执行一条 SQL 时,主要时间花在连接准备上。连接池消除重复握手和认证后,查询吞吐量才显著提高。 相关卡片:先测量对象创建成本再池化。
连接池通过最小连接数、最大连接数和等待超时把资源获取分成四种路径:低于下限时补足连接,有空闲连接时直接复用,无空闲但未达上限时新建,达到上限后限时等待;等待超时则失败。容量参数既决定闲置成本,也决定突发流量下的排队长度与失败边界,不能只追求更大的池。 相关卡片:连接池容量控制获取路径。
为什么池中的连接不能默认永久可用?域名解析变化、服务端关闭旧地址或空闲超时都可能让连接在客户端无感知地失效。连接池需要健康检查并移除坏连接。后台定期探测把校验成本移出请求路径;借出时校验更及时,却会给每次获取连接增加额外开销,应按故障风险和延迟预算选择。 相关卡片:连接池必须淘汰失效连接。
线程池不是简单地“复用线程”,而是一套容量与排队策略:线程少于核心数时创建线程,达到核心数后先让任务排队,队列满后再扩到最大线程数,容量全部耗尽时执行拒绝策略。核心线程、最大线程、队列容量和拒绝方式共同定义系统在过载时是排队、扩容还是失败。 相关卡片:线程池用容量和队列承接任务。
为什么同一套线程池参数不能同时适合 CPU 密集型与 I/O 密集型任务?CPU 密集型任务持续占用处理器,线程过多只会增加上下文切换;I/O 密集型任务常在等待外部资源,适度增加并发线程能利用空闲 CPU。线程数和“先排队还是先扩线程”的策略必须由任务等待比例与吞吐目标决定。 相关卡片:线程池策略应匹配任务类型。
线程池中的任务已成功提交,不等于任务会及时执行。队列持续堆积说明到达速率超过当前处理能力,并会直接转化为等待延迟。对实时性要求高的任务,应监控队列长度、排队时长和拒绝数量,并结合线程利用率判断是容量不足、下游变慢,还是任务本身异常。 相关卡片:线程池队列长度是延迟信号。
无界任务队列为什么不是“不丢任务”的安全方案?当生产速度长期高于消费速度,队列会无限吸收压力,使等待时间和内存占用持续增长,最终触发频繁 Full GC 甚至服务不可用。有限队列配合明确的拒绝、降级或反压策略,能让过载在资源耗尽之前显现并被控制。 相关卡片:无界队列会把过载转成内存故障。
池化把创建成本从请求时转移到初始化阶段,因此容量就绪的时点也属于性能设计。若服务启动后才由真实流量逐步创建核心线程或连接,重启后的首批请求会承担额外创建开销,形成短暂慢请求。上线前应完成必要的池预热,并把启动时间和预热资源占用计入发布计划。 相关卡片:池化资源需要预热。
原书依据 · 9 处
08 数据库优化方案(一):查询请求增加时,如何做主从分离?
主从分离把写入留在主库,把部分读取交给复制得到数据的从库,从而扩展读能力。复制通常不是瞬时完成的,刚写完就读从库可能看到旧值。数据路由、中间件能力、复制延迟监控与业务一致性要求必须一起考虑;它不能自动解决主库写入瓶颈。
主从读写分离解决什么问题,又不解决什么问题?它把写请求留在主库,把查询分散到一个或多个从库,适合读多写少系统的读流量增长,并能隔离部分读写锁竞争。但写入吞吐仍受主库限制,因此它是读路径的横向扩展手段,不是数据库整体容量问题的通用答案。 相关卡片:读写分离只扩展读流量。
MySQL 异步主从复制把数据变化记录、网络传输和从库回放拆成独立环节:主库记录 binlog 并由发送线程传出,从库 I/O 线程接收后写入 relay log,再由 SQL 线程回放。日志作为中间缓冲,使主库提交不必等待从库实际写盘,也让传输和回放可以按各自速度运行。 相关卡片:异步复制拆开写入与回放。
为什么主库提交成功不等于所有副本已有这次写入?异步复制让主库无需等待从库同步即可返回,缩短了写入链路,却留下复制延迟和日志尚未持久化时丢失的窗口。要求所有副本确认会提高一致性,但会把最慢副本的延迟带入写请求。复制确认策略必须按数据损失容忍度选择。 相关卡片:异步复制用一致性换写入性能。
为什么不能无限增加从库来扩展查询?每个从库都会增加主库的复制连接、发送线程和网络流量,主库 CPU 与带宽最终成为扇出瓶颈。从库数量达到单主承载上限后,继续扩读需要调整复制拓扑、增加中间层或采用其他缓存与分片手段,不能把副本数当成无成本容量。 相关卡片:从库数量受主库复制能力限制。
为什么数据刚写成功,从库查询却可能返回不存在?主库提交与从库回放之间存在时间窗口,紧随写入的读请求若被路由到从库,就会观察到旧状态。这类写后读不一致常被误判为业务删除或代码错误;设计依赖链路时,应先明确哪些读必须看到最新写入,再决定路由和补偿方式。 相关卡片:主从延迟破坏写后读一致性。
处理写后读延迟时,优先消除对从库的即时回查:消息可携带消费者所需数据,或在适合新增数据的场景使用缓存。直接查询主库只应作为受控例外,因为通用主库读接口容易被滥用并侵蚀写库容量。数据冗余增加消息体积,缓存更新有并发一致性风险,三者都需显式取舍。 相关卡片:规避延迟优先消除即时回查。
复制延迟是主从架构的关键运行指标,因为它直接决定从库数据的新鲜度。监控不仅要看副本是否在线,还要测量其落后主库的时间,并为延迟从正常毫秒级上升到异常秒级设置告警。排查“偶发读取不到、稍后恢复”时,应把复制延迟放在优先诊断路径中。 相关卡片:复制延迟必须被持续监控。
主从分离把单一数据库地址变成主库、多个从库和读写路由规则。数据库中间件把这些拓扑细节封装起来,使业务仍以接近单库的方式访问数据。它承担数据源管理、SQL 路由甚至改写,但抽象只隐藏复杂度,不会消除复制延迟、容量边界和错误路由等底层约束。 相关卡片:数据库中间件隐藏读写路由。
数据库中间件应内嵌应用还是独立部署?内嵌方案没有额外网络跳转和独立部署成本,适合语言统一、运维能力有限的团队,但多语言支持与统一升级较弱。代理方案可用标准协议服务多语言并集中升级,却增加网络跳数、独立容量和高可用责任。选择依据应是团队和系统约束,而非工具名气。 相关卡片:内嵌与代理中间件交换不同成本。
为什么数据库中间件替换不能被视为普通依赖升级?中间件处在所有数据访问路径上,配置或使用错误可能放大为全库扫描、额外连接或秒级延迟。上线前应验证路由结果、连接行为、慢查询和故障模式,准备灰度与回退路径,并确保团队具备定位其内部行为的能力。 相关卡片:中间件切换需要可回退验证。
原书依据 · 10 处
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
- 数据库优化方案(一):查询请求增加时,如何做主从分离? · 查看原书依据
09 数据库优化方案(二):写入数据量增加时,如何实现分库分表?
分库分表把数据分到多个存储单元。垂直拆分按业务职责,水平拆分按数据字段或范围;两者应对的膨胀不同。拆分以后每次访问先要确定位置,跨分片的查询、排序、关联和事务会更复杂。本章按访问模式比较哈希与时间范围,不把近期查询热度扩大成普遍的写入结论。
数据分片让每个数据库或数据表只保存全集的一部分。它同时缩小单表、索引和备份规模,并把写入压力分散到多个节点,因此是数据量与写并发共同增长时的扩展手段。 相关卡片:数据分片分摊存储与写入。
垂直拆分按业务相关性把不同模块的数据迁入独立数据库。它使各业务可以独立扩容和维护,并限制故障影响范围,适合先解除多个业务共享单库造成的耦合。 相关卡片:垂直拆分按业务隔离故障。
垂直拆分只把业务边界分开,并没有分散某个业务内部的数据。当订单、消息等单一领域自身持续膨胀时,独立数据库仍会触及容量与写入上限,还需要水平拆分。 相关卡片:垂直拆分不解决单域膨胀。
按用户 ID 等实体标识做哈希或取模,可把数据与写入较均匀地分散到固定数量的分片。均匀性降低单点热点风险,但查询必须能够从该标识直接定位目标分片。 相关卡片:哈希分片追求数据均匀。
按时间范围分片可以从创建时间定位库表,但近期内容通常更受关注,因而查询QPS集中于近期分片,历史分片渐冷。这里讨论的是访问分布造成的读热点,原文没有把它论证为新增写入必然形成的热点。按时间拆表还必须提前建好下一时间区间的表,否则新数据可能无处可写。 相关卡片:时间分片聚集近期查询。
按日期创建新表会把容量准备变成持续的运维任务。若下一周期的表未按时建立,写入可能直接失败,因此建表、校验、告警和回滚都应自动化,而不能依赖人工记忆。 相关卡片:时间分片必须提前准备容量。
分片系统只有在查询携带分区键时才能精准路由。缺少分区键会迫使请求扫描所有库表,再合并结果;分片越多,连接、计算和尾延迟成本越高。 相关卡片:查询缺少分区键会全局广播。
当业务必须按昵称等非分区键查询时,可维护“昵称到用户 ID”这类紧凑映射,先取得分区键再定位主数据。相比按每种查询维度复制整份数据,映射表降低了存储与一致性成本。 相关卡片:映射表支持非分区键查询。
分片后,跨库 JOIN 和全局计数不再能由单条本地 SQL 低成本完成。系统通常要分别读取再在应用层组装,并为总量维护独立聚合数据,因此拆分会把复杂度从数据库转移到服务和数据链路。 相关卡片:分片迫使跨库能力外移。
分库分表会引入数据迁移、路由、扩容与运维成本,不应在瓶颈出现前盲目采用。初始分片数应覆盖未来数年的容量预估;自动分片方案也只有在团队具备相应使用和运维能力时才成立。 相关卡片:分片时机需覆盖迁移成本。
原书依据 · 10 处
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
- 数据库优化方案(二):写入数据量增加时,如何实现分库分表? · 查看原书依据
10 发号器:如何保证分库分表后 ID 的全局唯一性?
每个分片独立自增后,编号可能重复,因此需要跨分片的身份分配办法。随机标识、数据库步长分配和时间/机器/序列号组成的发号器,在唯一性、趋势排序、容量与运维依赖上各有代价。位段宽度是容量预算,机器身份和时钟条件也必须明确。
手机号、邮箱等业务字段会变化,也未必与实体一一对应;一旦把它们作为主键,变更会扩散到全部引用。生成后不变的独立 ID 将实体身份与业务属性解耦,更适合作为长期引用锚点。 相关卡片:主键应独立于可变业务字段。
数据库自增值只在各自实例内唯一。同一逻辑表被拆到多个库后,各库可能生成相同号码,因此需要把 ID 分配提升为跨分片的公共能力,才能为数据分片分摊存储与写入提供全局身份。 相关卡片:分片使自增主键失去全局唯一。
UUID 无需中心协调,适合请求追踪等只要求唯一性的场景;作为数据库主键时,它无序、占用空间较大且难以反解来源信息,会增加索引写入与诊断成本。唯一性不是主键选型的全部条件。 相关卡片:数据库主键不宜直接使用UUID。
单调递增 ID 可同时充当时间近似顺序,减少列表额外保存排序字段的空间;在 B+ 树主键索引中,新记录更接近尾部追加,也能减少随机位置插入带来的查找和数据移动。 相关卡片:有序主键兼顾排序与写入。
在 ID 固定位段编码生成时间、机房或业务,可从单个号码反查请求来源和生成环境,辅助校验与故障定位。但编码内容应保持稳定且避免隐私数据,否则身份标识会反向耦合易变业务。 相关卡片:可反解ID辅助问题定位。
Snowflake 把 64 位整数划分为时间、节点和序列等位段:时间提供大致顺序,节点区分并行发号者,序列区分同一节点同一时间片内的请求。三个维度组合后,无需集中递增也可生成全局唯一 ID。
结构图:
mermaid
flowchart LR
T[时间戳位\n顺序与寿命] --> ID[64 位 ID]
N[节点位\n机房与机器] --> ID
S[序列位\n时间片内并发] --> ID
相关卡片:雪花ID用位段保证唯一。
Snowflake 各位段不是固定模板,而是一组容量预算:时间位决定可用年限,节点位限制机房和实例数,序列位限制单时间片吞吐。调整一项必然压缩另一项,应依据可量化的业务上限分配。 相关卡片:位段宽度是容量预算。
把算法嵌入业务可省去网络调用,却要为大量实例协调唯一机器号;独立发号服务增加一次调用和运维对象,但实例更少、机器位更省且配置更可控。选择取决于规模、吞吐与运维成本。 相关卡片:发号器部署权衡本地与集中。
Snowflake 把系统时间纳入 ID,时钟回拨可能让同一节点再次进入旧时间片并复用序列,从而产生重复号。检测到时间异常时应暂停发号并等待恢复,不能用可用性掩盖身份冲突。 相关卡片:时钟回拨会破坏ID唯一性。
若每毫秒只生成一个 ID,序列低位会长期固定;再以 ID 取模分片时,数据可能集中到少数分片。可扩大时间粒度以增加同片序列,或随机化序列起点,让参与取模的低位更均匀。 相关卡片:低发号量可能制造分片偏斜。
发号方案应先按机房数、实例数和峰值吞吐确定位段,再从嵌入式实现起步;只有业务实例增长到机器号协调和维护成本明显上升时,才独立成服务,避免过早引入额外运维复杂度。 相关卡片:发号能力随规模逐步独立。
原书依据 · 11 处
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
- 发号器:如何保证分库分表后 ID 的全局唯一性? · 查看原书依据
11 NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补?
NoSQL是关系数据库之外的一组存储选择,并非单一产品。书中从数据模型、索引和分布式能力解释它怎样补足某些关系存储场景;选择应先明确查询与一致性需求。把分布式角色和自动再平衡做进组件能减轻扩容工作,却不能消除运维能力和故障恢复的要求。
NoSQL 擅长横向扩展、高吞吐或特定数据模型,但通常不完整提供关系数据库的 SQL 查询、事务和灵活索引。存储设计应按访问模式组合两者,而不是把 NoSQL 当作关系数据库的通用替代品。 相关卡片:NoSQL补足关系数据库边界。
键值存储以 Key 直接定位 Value,收窄了查询模型,从而更容易获得高读写性能。它适合主访问路径清晰、无需复杂关联的场景;若业务依赖多字段筛选,仍需额外索引或其他存储配合。 相关卡片:KV存储以访问能力换吞吐。
列式存储按列组织相关数据,更适合只读取少数列并进行批量统计的分析访问。它优化的是扫描与聚合模式,不等同于把任意在线事务表简单改成按列保存。 相关卡片:列式存储按分析访问组织数据。
文档数据库允许同一集合中的记录拥有不同字段,适合商品品类等结构多变的数据。模式自由减少频繁改表,却不意味着没有数据契约;字段语义、校验和兼容仍需由应用治理。 相关卡片:文档数据库容纳异构字段。
LSM 树先把更新写入内存并顺序落盘,减少 B+ 树随机位置更新和页分裂的成本,从而提高写吞吐。代价是数据分散于内存表和多个磁盘表,读取需要查找多层,形成读放大。 相关卡片:LSM树用读放大换写吞吐。
MemTable 承接高速内存写入并按 Key 排序,但内存本身无法抵抗掉电。Write Ahead Log 在确认写入前追加磁盘日志,使节点重启后可重放恢复,把性能优化与持久性要求解耦。 相关卡片:WAL保护内存表持久性。
MemTable 达到阈值后刷新为不可变的有序 SSTable;磁盘表持续增多会放大读取,因此后台将多个有序文件归并,控制文件数量。合并提高后续读取效率,却消耗额外 IO 与计算资源。 相关卡片:SSTable合并控制文件数量。
LSM 读取先查包含最新写入的 MemTable,未命中再查各个 SSTable。单个结构有序并不消除跨文件查找成本,因此查询性能取决于磁盘表数量、合并进度以及过滤和索引能力。 相关卡片:LSM读取逐层查找新旧数据。
倒排索引先对文本字段分词,再维护“词项到记录 ID”的映射,使全文搜索从扫描每条记录转为直接查找包含目标词的记录集合。它面向文本检索,不是关系数据库普通 B+ 树索引的同义替代。 相关卡片:倒排索引从词项定位记录。
分布式 NoSQL 把副本、分片元数据和请求路由纳入产品能力。以 MongoDB 为例,Config Server 保存分片位置,Route Server 据此转发请求,Shard Server 存储数据;副本集则为单个分片提供冗余与故障转移。
结构图:
mermaid
flowchart LR
C[客户端] --> R[Route Server\n请求路由]
M[Config Server\n分片元数据] --> R
R --> S1[Shard Server A\n副本集]
R --> S2[Shard Server B\n副本集]
相关卡片:NoSQL内建分布式协作角色。
新增存储节点后,自动再平衡器可检测分片偏斜并迁移数据,使扩容不必完全依赖人工重分片。它降低了分片时机需覆盖迁移成本中的迁移负担,但仍需监控迁移流量和业务延迟。 相关卡片:自动再平衡降低扩容迁移成本。
组件功能契合只是选型门槛,团队还必须具备监控、容量管理、故障定位和恢复能力。缺少生产运维经验时,新存储即使加快初期开发,也可能在流量上升后成为可用性短板。 相关卡片:运维能力是存储选型条件。
原书依据 · 12 处
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
- NoSQL:在高并发场景下,数据库和 NoSQL 如何做到互补? · 查看原书依据
12 缓存:数据库成为瓶颈后,动态数据的查询要如何加速?
缓存保存较容易取得的副本,减少对较慢层级的重复访问。它可以位于进程内、独立集群或多级路径中,命中率决定有多少请求真正被挡住。缓存不是新的唯一真源,副本陈旧、内存成本和失效后的回源压力都是性能收益所附带的条件。
缓存位于速度差异明显的两层之间,用较快介质保存较慢来源的数据或计算结果,让重复请求更快返回。内存只是常见载体,SSD、浏览器或应用进程也可承担缓存,因此缓存是一种位置与用途关系。 相关卡片:缓存协调不同速度层级。
缓存复制数据或预存计算结果,以额外存储空间减少慢介质访问和重复计算时间。优化是否成立取决于复用频率:若内容很少再次访问,复制与维护成本可能高于节省的延迟。 相关卡片:缓存用空间换取时间。
缓存保留可复用数据以加速后续读取;缓冲区暂存即将传往其他设备的数据,以吸收生产与消费速度差。前者优化重复访问,后者平滑传输与批量写入,两者不能只因都占内存而混同。 相关卡片:缓存与缓冲区目标不同。
HTTP 协商缓存由客户端携带已缓存资源的标识,服务端只判断内容是否变化;未变化时返回 304 并复用本地副本。它不省掉校验请求,却能避免重复传输资源正文。 相关卡片:协商缓存避免重复传输。
内容发布时预先渲染静态页面,并分发到 Nginx 等 Web 节点,可让访问不进入应用和数据库。它以更新及时性和存储副本换取极高命中率,适合变化慢、阅读量大的内容。 相关卡片:静态缓存把请求挡在Web层。
分布式缓存位于应用与持久化存储之间,用集群突破单机容量和吞吐限制,为动态数据提供共享缓存。它比静态页面灵活,但多了一致性、路由和高可用问题,不能只按单机性能评估。 相关卡片:分布式缓存承接动态请求。
极端热点会把大量请求集中到同一远程缓存节点或数据库分区。本地缓存把少量热点数据复制到各应用进程,以无网络调用的读取分散压力,适合允许短暂陈旧且体量可控的数据。 相关卡片:本地缓存隔离极端热点。
多实例应用无法可靠地逐台删除进程内缓存,更新后各节点可能暂时看到不同版本。若业务容忍秒级或分钟级延迟,可用短 TTL 自动收敛;要求强一致的数据则不宜依赖这种更新方式。 相关卡片:本地缓存以短过期控制陈旧。
缓存容量有限,只有同一数据被频繁读取时才能形成足够命中率并摊薄维护成本。读多写少且流量集中的场景收益高;写多读少或访问高度离散时,缓存更新和未命中会削弱价值。 相关卡片:热点与读多写少决定缓存收益。
数据库与缓存保存同一业务事实后,任一侧更新失败或时序交错都可能暴露旧值。缓存提升读取性能的同时增加了双写状态,必须明确更新策略、过期上限和清理机制,而不能把它视为透明加速层。 相关卡片:缓存引入双写一致性风险。
缓存介质并非无限,设计前应估算对象数量、平均大小和副本开销。过期策略让低价值数据退出、热点数据留下;若把可预见的海量数据全部缓存,可能只是把容量瓶颈从数据库搬到缓存。 相关卡片:容量与过期共同约束缓存集合。
缓存可分布在负载均衡、应用进程以及应用与数据库之间。请求越早命中,穿透到低并发层的流量越少;因此多级缓存的目标不是层数本身,而是让不同类型的数据在最靠前且可正确维护的位置被拦截。
结构图:
mermaid
flowchart LR
U[请求] --> S[静态缓存\n负载均衡层]
S --> L[本地缓存\n应用进程]
L --> D[分布式缓存\n应用与数据库之间]
D --> DB[数据库]
相关卡片:多级缓存优先拦截上层请求。
缓存命中率表示请求直接从缓存获得结果的比例,是判断缓存是否真正削减下游负载的核心指标。命中率必须结合请求量、回源成本与热点变化观察,单看缓存容量不能证明优化有效。 相关卡片:命中率衡量缓存实际价值。
原书依据 · 13 处
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
- 缓存:数据库成为瓶颈后,动态数据的查询要如何加速? · 查看原书依据
13 缓存的使用姿势(一):如何选择缓存的读写策略?
缓存读写策略决定“先找谁、写完怎样更新副本”。旁路缓存由应用在未命中时读数据库,更新时通常先落库再失效缓存;读穿、写穿和写回把部分责任交给缓存层。并发和复制延迟仍可能制造旧值窗口,余额等状态尤其应由数据库原子更新保护,不能先读旧副本再覆盖。
先更新数据库再更新缓存看似顺序明确,但两个请求的数据库写和缓存写可能交错,导致较早请求最后覆盖缓存。两个独立存储缺少共同并发控制时,单请求内的执行顺序不能保证全局一致。 相关卡片:双写顺序无法保证并发一致。
两个请求同时从缓存读取余额 20,各自加 1 后都写回 21,最终少记一次变更。对资金字段做“读取完整对象—本地修改—覆盖缓存”的非原子操作,会产生丢失更新,不能作为余额真源。
关联卡片:余额更新应以数据库原子写为准 相关卡片:缓存改余额会丢失并发更新。
余额变更应在具备事务与并发控制的数据库中完成,缓存只保存可丢弃副本;写成功后删除缓存,让后续读取重新加载真值。该策略降低缓存覆盖写导致的资金丢失风险,但数据库更新本身仍需原子化。
关联卡片:缓存改余额会丢失并发更新 相关卡片:余额更新应以数据库原子写为准。
Cache Aside 以数据库为真源,应用先读缓存,未命中时查询数据库并回种。缓存不主动接管数据访问,只保存被实际读取的副本,因此实现简单,也能让热点自然进入缓存。 相关卡片:旁路缓存按需加载副本。
旁路缓存写入时先更新数据库,再删除缓存,而非直接写入副本。删除让下一次读取从真源重建数据,缩短旧值留存窗口,也避免并发请求按不同顺序覆盖缓存。 相关卡片:旁路写先落库再失效缓存。
若先删缓存再更新数据库,间隙中的读请求会命中旧数据库值并把它重新写入缓存;随后数据库更新完成,缓存却继续保存旧值。因此失效操作不能简单提前到数据库提交之前。 相关卡片:先删缓存会让旧值回填。
先更新数据库再删缓存并非数学上的强一致:一次缓存未命中的慢读可能先读到旧数据库值,随后写请求提交并删缓存,最后慢读才把旧值回填。该窗口通常较窄,但不能被误称为零风险。 相关卡片:先落库再删缓存仍有窄窗口。
新建记录后立即读取时,从库可能尚未复制到数据。若该新键不存在并发旧值,写主库成功后可主动填充缓存,让后续读取绕开复制延迟;这是对标准失效策略的有条件改造。 相关卡片:新数据回填缓存规避复制延迟。
Cache Aside 每次写入都会删除缓存,高频变更会让同一键反复回源并降低命中率。若业务更重视命中率,可在更新缓存时加锁串行化,或接受短暂不一致并设置短 TTL,代价分别是写延迟与陈旧窗口。 相关卡片:高频写入会侵蚀缓存命中率。
Read/Write Through 让调用方只访问缓存,由缓存组件负责加载或同步更新后端存储。它把一致性逻辑从每个业务调用者收拢到缓存层,但要求组件原生具备访问真源的能力。 相关卡片:读写穿透让缓存代理真源。
Write Miss 表示写入目标尚未缓存。Write Allocate 会先建立缓存副本再同步真源;No-write Allocate 直接写真源,不为这次写入分配缓存。写穿场景常选后者,以避免一次无必要的缓存写。 相关卡片:写失效决定是否分配缓存。
Write Back 写入时只修改缓存并标记脏数据,稍后在淘汰或批处理时再落到低速存储。它把多次随机写合并为较少的顺序或批量写,显著降低前台延迟,但真源会暂时落后。 相关卡片:写回策略延迟持久化。
写回缓存未命中并需要复用空间时,若候选缓存块是脏的,必须先把旧数据持久化,再装入新数据;干净块则可直接替换。脏标记决定淘汰是否包含额外写入步骤。 相关卡片:脏缓存淘汰前必须回写。
Write Back 在数据落盘前把唯一新版本保存在易失内存中,机器掉电会丢失尚未刷新内容。采用它必须明确最大积压时长、刷新触发条件和故障恢复机制,不能只比较内存与磁盘延迟。 相关卡片:写回性能以丢失窗口为代价。
缓存策略没有脱离场景的最优解。选择时至少量化数据规模、读写比例、可容忍的不一致时长和命中率目标,再决定使用失效、同步写穿或异步写回,以及是否需要锁和过期兜底。 相关卡片:缓存策略由业务约束选择。
原书依据 · 15 处
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
- 缓存的使用姿势(一):如何选择缓存的读写策略? · 查看原书依据
14 缓存的使用姿势(二):缓存如何做到高可用?
高可用缓存需要同时考虑数据放到哪里,以及节点失效后谁继续服务。哈希与一致性哈希决定键的位置;虚拟节点改善分布;主从或多副本提供读取兜底。节点数量与请求扇出相互影响,作者的4至6节点经验针对批量读取的尾延迟和可用性,不是所有集群的上限。
核心缓存的命中率若从高位掉一个百分点,读流量会成批落到数据库。一万 QPS、每次调用访问十次存储时,百分之一失配等于数据库每秒多出一千次读,已接近单台 MySQL 约一千五百次的读峰值。单点缓存故障比这种微降更危险,高可用要按节点失效设计,而不是只看平均命中率。 相关卡片:命中率微降打穿数据库。
分布式缓存的高可用可以落在客户端、中间代理或服务端。客户端自己做分片和读写策略,代理把这些策略封装成统一入口,服务端则由组件提供故障切换。三处解决的是同一件事:某个节点失效时,备份节点继续接住读流量,避免命中率塌方向数据库穿透。 相关卡片:缓存高可用落在三处。
单节点受内存、网卡和请求量限制时,可对键做哈希再对节点数取余,把数据打散。节点个数一旦变化,取余结果大面积改变,原先的键集体失效。这种分片只适合下层还有缓存兜底、业务对这组命中率下降不敏感的场景;否则扩缩容本身就会变成一次缓存击穿。 相关卡片:取余分片扩缩时集体失效。
一致性哈希把哈希空间连成环,节点和键都落在环上。键沿顺时针遇到的第一个节点就是归属节点。增加或删除节点时,只有该节点到前一节点之间的键会改道,环上其余键的归属不变,所以命中率不会因为节点数变化而集体失效。它解决的是取余分片的扩缩容问题,不是数据均匀或脏读问题。
结构图:
mermaid
flowchart LR
K[对键做哈希] --> R[落在哈希环上]
R --> W[顺时针行走]
W --> N[遇到的第一个节点]
A[在两节点间插入新节点] --> D[只改道这段弧上的键]
相关卡片:一致性哈希只漂移相邻键。
物理节点在一致性哈希环上分布不均时,一个节点故障会把整段访问顺移给下一个节点。后者压力翻倍后再崩溃,流量继续堆到剩余节点,缓存会连锁雪崩。把一个物理节点映射成多个虚拟节点、散落在环的不同位置,故障后的键会拆开分给多个存活节点,而不是整段压到某一个邻居。 相关卡片:虚拟节点摊平故障流量。
一致性哈希在写入时若连不上原节点,请求会落到环上的下一个节点,旧节点里仍留着旧值。连接恢复后读请求又回到旧节点,就会读到过期数据。过期时间让漂移前写入的值自行失效,不能消除这次写错节点,但能缩短脏值被读到的窗口。不设过期的缓存不能单独靠一致性哈希保证读到新值。 相关卡片:漂移写入会留下脏值。
MultiGet是一次批量读取多个键;如果键分布在多个节点,请求须等待这些节点的结果,慢节点和故障会影响整体完成。在这种扇出模式下,作者给出4到6个节点的经验建议,意在提醒容量收益与尾延迟、可用性的取舍;它不是所有缓存集群的通用规模上限。实际节点数还须结合请求涉及的分片数与容量验证。 相关卡片:批量扇出限制分片规模。
Memcached 没有服务端主从,可以由客户端为每个主节点配一个从节点:写入时主从一起更新,读取时先读从节点。从节点没有数据时再读主节点,并把结果回种到从节点,让从节点保持热度。从节点宕机后主节点仍能接住读请求,避免缓存未命中直接打到数据库。这解决的是单主故障穿透,不是从节点网卡被极端流量打满。 相关卡片:从库优先读主库兜底。
主从已经能挡住单点故障,但极端读流量下从节点网卡会先成为瓶颈。可以在主从之前再加一层容量更小的副本组,只保存更热的数据。查询先打到其中一个副本组,失败后再查主从,并把结果回种到全部副本组,避免各组留下互相矛盾的旧值。实践中主从自己也当作一组副本来用,否则它们长期接不到读请求,里面的数据会变冷,故障切换时又变成空缓存。
结构图:
mermaid
flowchart LR
Q[查询] --> R[选一个副本组]
R -->|命中| OK[返回]
R -->|未命中| MS[查询主从]
MS --> W[回种到全部副本组]
W --> OK
相关卡片:副本组承接极端读带宽。
客户端里的分片和高可用逻辑绑在一种语言上,换语言就要重写。中间代理用统一协议承接全部读写,把路由和高可用留在无状态代理里,业务只依赖代理。Twemproxy 在节点挂掉后把它移出集群,后续请求改由其他节点完成;Codis 先用 Codis Ha 自动提主,3.2 之后改为 Redis Sentinel。代价是多一跳,性能低于把策略写在客户端进程内。 相关卡片:代理层复用跨语言策略。
Redis 从 2.4 起用 Sentinel 解决主从部署的自动切换。多个无状态 Sentinel 只监控主节点,不转发读写;主节点在配置的时间内无响应,就要有达到配置数量的 Sentinel 都认定它已失效,才能从从节点里选一个提升为新主,其余从节点改挂到新主。它和代理的差别是:故障决策在服务端旁边完成,业务流量仍然直接访问缓存节点。Sentinel 自己也必须集群部署,否则监控者单点失效时,主节点挂了也无法自动恢复。
结构图:
mermaid
flowchart TD
M[主节点无响应] --> Q{达到配置数量的 Sentinel 认定失效}
Q -->|否| W[继续监控]
Q -->|是| P[选一个从节点提升为新主]
P --> F[其余从节点改挂新主]
相关卡片:仲裁通过后提升从节点。
客户端方案没有代理那一跳,但逻辑复杂且难跨语言复用。中间代理把高可用内置进来,用性能损耗换多语言复用。服务端方案依赖组件自身能力,Memcached 只有单机,Redis 才提供 Sentinel,同时把主从切换的复杂度留给运维。已有客户端积累就继续用客户端;Redis 运维成熟就上 Sentinel;存储研发有积累再做或自研代理。没有普遍更优的一层,只有和团队能力匹配的一层。 相关卡片:方案跟随团队已有积累。
原书依据 · 12 处
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
- 缓存的使用姿势(二):缓存如何做到高可用? · 查看原书依据
15 缓存的使用姿势(三):缓存穿透了怎么办?
缓存穿透是请求未被缓存拦住而持续访问数据库,既可能来自不存在的数据,也可能来自热点同时失效。短期空值、布隆过滤器和共享互斥分别处理不同原因。成功查无数据与查询失败必须区分;互斥回源需要原子地获得锁,看到锁也不保证新值已经准备好。
缓存穿透是指缓存里没有查到数据,请求只好继续查询数据库等后端。少量穿透来自容量装不下全量数据,以及访问集中在约两成热点上,缓存只保住这批热点就能挡住大部分压力。一旦穿透量超过后端承受范围,查询变慢会占满应用的连接和线程,系统才会被打垮。 相关卡片:缓存穿透是未命中后回源。
用 旁路缓存按需加载副本 查询一个未注册用户时,缓存和数据库都没有记录,因此不会回种。下一次相同请求仍会打到数据库,缓存对这个键完全挡不住。查询抛出异常时也得不到可回种的值,重复请求同样每次穿透。这类穿透不是偶发未命中,而是同一个不存在的键被无限次回源。 相关卡片:不存在的键会反复穿透。
对数据库成功查询后确认不存在的数据,可缓存短期空对象,减少相同请求重复回源。原书示例还在异常分支写空对象;应明确这是短期保护策略,查询失败不等于业务对象不存在,不能把异常伪装成正常的不存在结果。短过期限制陈旧窗口;故障恢复或新数据产生后还须重新查询。 相关卡片:空值短过期挡住重复穿透。
空值回种能挡住重复穿透,但大量查询不存在的键会让缓存堆满空对象。缓存被占满后会淘汰已经缓存的真实用户数据,命中率反而下降。因此要先估算这些空值占多少容量;如果得靠大量新增节点才能装下,就不应继续用回种空值,而要改用能在进入缓存前拒绝无效键的办法。 相关卡片:大量空值会挤出热数据。
布隆过滤器用位图记录元素哈希所对应的位置。查询时,所检查位置有0可排除该元素;全部为1只表示可能存在。原书先讲单哈希简化模型,再说明多哈希。它用20亿位约238MiB对比直接存20亿个4字节标识的空间量级;这只是位数换算,不能据此断言238MiB足以在指定误判率下容纳20亿个元素。容量还要同时预算元素数、位图大小和哈希数量。
结构图:
mermaid
flowchart LR
E[元素] --> H[哈希后对数组长度取模]
H --> B{该位是否为 1}
B -->|否| N[一定不在集合中]
B -->|是| Y[可能在集合中]
相关卡片:布隆用位图判断是否在集合。
把现有用户标识映射进布隆过滤器后,查询先看标识是否可能存在。判定不存在就直接返回空,不再访问缓存和数据库。新注册用户除了写入数据库,还要用同一算法把对应位置设为 1,否则刚注册的人会被当成不存在。读写都是常数时间,适合在海量无效查询进入 缓存穿透是未命中后回源 之前把它拦住。 相关卡片:先问布隆再决定是否回源。
在元素已完整写入、映射规则一致且没有错误删除的前提下,布隆过滤器只会把不在集合中的元素误判为可能存在。碰撞使一些无效请求仍被放行,但不影响对未置位结果的排除作用。原文建议多个哈希同时命中才判可能存在;补充校准:须合理选择元素数、位图容量与哈希数,固定容量下无限增加哈希并不会持续降低误判率。 相关卡片:布隆只会把不在误判为在。
两个元素若共享同一个位,删除其中一个并把该位改回 0,另一个仍在集合中的元素也会被判成不存在。把该位从是否置位改成计数:同时命中则加一,删除时减一,共享位才不会被一次删除清掉。计数不再是一个比特,内存会变大。用户标识几乎不删除时,普通布隆过滤器就够用;删除频繁就要接受计数带来的空间成本,或放弃这种结构。 相关卡片:删除需改用计数布隆。
一个极热缓存项一旦失效,大量并发请求会同时发现未命中并一起查询数据库,形成狗桩效应。空值回种和布隆过滤器都挡不住这种键:它真实存在,只是缓存里暂时没有。压力来自同一时刻的并发回源,而不是无效键的重复查询。处理目标是让失效后的回源次数接近一次,而不是让每个请求各自打到数据库。 相关卡片:热点失效会引发狗桩效应。
热点缓存失效后,只启动一个后台线程去数据库加载并回填。在加载完成前,其余访问这个键的请求不再穿透,直接返回。这样数据库在失效瞬间只承受一次加载,而不是与并发请求数相同的查询。调用方要接受短暂拿不到新值;如果这段时间仍必须返回旧数据或等待加载,这个方案就不够,需要另选能排队或复用同一次加载的办法。 相关卡片:回源未完成时请求直接返回。
热点缓存失效时,用所有应用节点共享的锁协调回源,只让获得锁的请求加载数据库并填充缓存。其他请求等待或重读缓存,减少同时回源。补充实现条件:获得锁必须是原子的“仅不存在时创建”,并有失效与安全释放约束;普通覆盖写入锁键不能保证互斥。未拿到锁也不意味着立即重试一定已有新值。 相关卡片:分布式锁只放行一次回源。
数据库在扩展、性能和并发能力上都弱于缓存,所以处理穿透的共同目标是减少打到数据库的并发请求。空值回种实现简单,容量承受得起就优先用。布隆过滤器要新增组件,并付出开发和内存成本,只适合海量查询根本不存在的数据。狗桩效应用后台加载或分布式锁把并发回源收成少数几次。方案可以替换,少打数据库这个目标不变。 相关卡片:治理穿透是为了少打数据库。
原书依据 · 12 处
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
- 缓存的使用姿势(三):缓存穿透了怎么办? · 查看原书依据
16 CDN:静态资源如何加速?
CDN是部署在多地、缓存静态资源的分发网络。用户经DNS等调度访问较近节点,节点未命中再回源,因此访问路径和数据更新时延都影响效果。CDN故障或集中回源仍会传导到业务系统,需要把端侧体验和源站承载一起纳入观测。云厂商方案在原书中只是可选项。
图片和视频有几兆到几百兆,访问量又高。应用和分布式缓存若都在北京,杭州用户读一个视频就要穿过多段公网骨干网,打开会很慢,还会占满带宽、拖累动态请求。分布式缓存解决的是同机房里的动态数据读取,解决不了大文件的跨地域传输。静态资源要在业务服务器之上另加一层就近节点,而不是把文件塞进现有缓存集群。 相关卡片:大文件跨地域读依然很慢。
静态资源加速的关键是让用户读到地理位置更近的副本:北京用户读北京的数据,杭州用户读杭州的数据。用户分布在全国甚至海外,每个地域都自建机房成本过高。因此要在业务服务器上层放一批遍布各地的缓存节点,由用户选择最近的节点,并尽量提高命中率,减少回到资源源站的请求。这一层就是 CDN。 相关卡片:静态资源关键是就近访问。
CDN把静态资源缓存到多地节点,由调度机制让用户就近访问,缩短远距离访问源站的路径。原书列举云厂商提供的CDN作为可选方案,并未据此给出必须优先选择同云厂商的结论;选择仍需结合自己的分布和可用性要求。 相关卡片:CDN把静态资源分到多地。
把第三方 CDN 节点的 IP 直接写进图片地址并存进数据库,节点 IP 一变或更换厂商,就要改全部商品地址。应给用户一个本公司域名的子域名,把厂商 IP 藏在域名后面。地址层只表达“这是我们的图片服务”,节点落在哪一家、哪一台,留到解析时再决定,避免一次厂商切换变成全库数据迁移。 相关卡片:图片地址不要写死节点IP。
DNS 的 A 记录直接返回域名对应的 IP。CNAME 记录返回另一个域名,让当前解析跳到下一次解析。图片域名用自有子域名,例如 img.example.com,把它的 CNAME 配到厂商给出的域名上。用户请求图片时,先解析到厂商域名,再解析成 CDN 节点 IP。CNAME 在这里像一层中间代理:业务地址不变,背后的节点可以换。
结构图:
mermaid
flowchart LR
U[请求 img.example.com] --> C[CNAME 到厂商域名]
C --> I[再解析为 CDN 节点 IP]
I --> N[从该节点取静态资源]
相关卡片:CNAME把自有域名转到厂商。
域名解析是分级的,一次未命中缓存的查询可能跨公网问多台服务器,耗时可以到秒级。本机 hosts 没有记录时,先问运营商提供的 Local DNS。Local DNS 没有缓存,就依次问根 DNS、顶级 DNS 和权威 DNS;权威 DNS 的库里存着这个域名的对应关系,结果会写回 Local DNS。下一次同一域名就可以直接用这份缓存,不必再走完整迭代。
结构图:
mermaid
flowchart TD
H[本机 hosts] -->|没有| L[Local DNS 缓存]
L -->|没有| R[根 DNS]
R --> T[顶级 DNS]
T --> A[权威 DNS]
A --> W[结果写入 Local DNS]
相关卡片:分级解析让首次查询变慢。
应用启动时先解析即将用到的域名,把结果放进本地 LRU 缓存。真正发请求时直接取 IP,只有缓存没有才走完整 DNS 查询。再用定时器定期刷新,避免解析结果变更后本地一直拿着旧地址。实测里,解析经常超过 1 秒的情况可以压到 200 毫秒以内,整次 HTTP 请求大约少 80 到 100 毫秒。这优化的是解析等待,不是 CDN 节点到用户的传输距离。 相关卡片:启动预解析避开重复查询。
全局负载均衡负责在不同地域的服务器之间分配流量,下面可以挂很多本地负载均衡。它要同时做两件事:让各节点负载更平均,并让流量经过的服务器靠近用户。选节点时可以把用户 IP 划成地理区域,返回该区域里的 CDN 节点,也可以发探测包按往返时延决定。只做负载平均仍可能把用户分到很远的机房,静态资源的延迟目标就达不到。 相关卡片:GSLB兼顾距离和负载。
静态资源通常先写入某个 CDN 节点,再由内部机制同步到其他节点。同步即使走了优化过的内网也有延迟。用户被分到尚未同步完成的节点时,只能回源站拉取。用户到源站可能跨越多段主干网,访问变慢,还会占用源站带宽、推高成本。使用 CDN 时要同时看节点命中率和源站带宽,不能只确认域名已经解析到了某个节点。 相关卡片:同步延迟会把请求打回源站。
CDN 是系统对外的门面。图片和视频的请求量常常是接口的数倍,故障会直接打到整体可用性。它的带宽又经常是研发成本里最大的一块,短视频和直播尤其明显。对服务端来说,CDN 是一种特殊缓存,命中率和可用性都要纳入监控,不能把节点故障当成运维侧的偶发问题。成本优化也要围绕少回源、少跨网传输,而不是只压接口机器的数量。 相关卡片:CDN故障会放大成系统故障。
A1 加餐:数据的迁移应该如何做?
数据迁移改变存储位置或结构,困难在于业务持续写入时怎样让新旧数据追上。书中把全量搬迁、增量同步、比对和切流联系起来,并讨论双写的不一致与回退。迁移不是复制结束就完成;需要确认新路径数据可用、差异可解释,并控制切换期间的风险。
在线数据迁移不能只复制存量,还要接住迁移期间的写入、核对完整性并保留回滚路径。若切换后仅向新库写入,旧库便不再拥有最新数据,改回旧连接并不等于安全回滚。应先设计增量同步和回滚期间的数据去向,再决定切流步骤,见双写保留迁移回退路径。 相关卡片:迁移成功包含可回滚。
双写迁移在验证新库期间仍维持旧库写入,使读流量可灰度切换并在异常时退回旧库。新库异步写失败必须留痕补偿;双写本身不自动保证一致,校验是切读门槛。观察稳定后才撤去旧库写入,此时原回滚路径也随之结束。它以应用改造和较长观察周期,换取迁移阶段的回退余地。
结构图:
mermaid
flowchart TD
A[建立数据同步] --> B[应用双写并记录失败]
B --> C[补偿与数据校验]
C --> D[灰度切读新库]
D --> E{观察是否正常}
E -->|否| F[读流量退回旧库]
E -->|是| G[观察期后只写新库]
相关卡片:双写保留迁移回退路径。
迁移时同步双写增加请求耗时,可在旧库成功后异步写新库,但新库写失败不能静默丢弃。应记录失败数据并补写,再校验两端状态;否则性能改善只是把错误藏到切流以后。双写保留迁移回退路径成立的前提是差异能被发现并修复,而不是两次写操作都曾发起。 相关卡片:异步双写失败必须可补偿。
大规模迁移难在发现遗漏和差异,而不只是搬运速度。应先准备并测试校验工具,再迁移、校验和灰度切流。抽样能降低比对成本,却只能为样本提供证据,不能证明所有记录都一致;应明确未检查范围,避免用一次抽样通过替代迁移成功包含可回滚中的完整性要求。 相关卡片:迁移校验应先于正式搬迁。
上云迁移可建立“旧库→云上新库→本地备库”的级联复制,使切写新库后的增量继续回到本地备库。同步追平后切读,低峰短暂停写再切写;回滚目标是持续接收增量的备库,而非已停止更新的旧库。级联复制降低业务改造量,但仍需处理复制延迟和停写窗口,不能把复制链存在当作数据已追平。
结构图:
mermaid
flowchart LR
A[本地旧库] -->|迁移前复制| B[云上新库]
B -->|持续复制| C[本地备库]
D[业务写入] -->|停写切换后| B
D -.->|回滚时停写切换| C
相关卡片:级联复制留下异地回退库。
混合部署期间,应用跨专线访问缓存和数据库会放大带宽占用与请求延迟。切流应同时考虑应用和数据的位置,让本地应用读本地、云上应用读云上;迁移前盘点所有跨线调用及其次数。连通只是前提,调用链叠加后的耗时才决定用户是否感受到退化。 相关卡片:迁移读路径尽量保持同机房。
迁移时直接把流量切向空缓存,会使原本被缓存吸收的请求集中回源,数据库可能超载。缓存虽可重建,重建过程仍消耗后端容量;应预热后再放量,用命中率衡量缓存实际价值判断保护是否恢复,而不是仅确认新节点进程已启动。 相关卡片:空缓存切流会冲垮数据库。
云上缓存副本可在未命中时读取本地旧缓存,再回填自身,从真实请求中逐渐预热。但一次业务调用多次访问缓存时,跨专线回填会累积延迟,且占用带宽。这个方法保住数据库却未必保住响应时间,应配合少量读流量渐进预热缓存控制冷启动影响。 相关卡片:副本回填预热有跨线代价。
为控制云缓存预热的跨线成本,先将本地写异步复制到云副本,再让少量读流量访问云副本并回填;命中率恢复后才部署应用并扩大流量。原例的10%读流量和90%命中率是案例参数,不是普适安全线,实际切流需同时核对回源压力与延迟,呼应迁移读路径尽量保持同机房。 相关卡片:少量读流量渐进预热缓存。
17 消息队列:秒杀时如何处理每秒上万次的下单请求?
队列在生产者与消费者之间保留待处理工作,使瞬时流量不必全部同时落到数据库。削峰的代价是等待与积压,异步化的代价是调用方不能立刻得到全部处理结果。消息还能减少系统直接调用,但队列自身的容量、可用性和积压监控也成为架构的一部分。
秒杀开始前的反复刷新首先形成读热点,可把静态资源交给CDN、商品热点放进缓存,并限制同用户、设备或IP的密集重复请求。多层拦截减少业务服务与数据库压力,但不会消除开始抢购后的下单写峰值;读优化与写削峰是两条不同的保护链。 相关卡片:秒杀读热点尽量挡在上层。
队列暂存尚未处理的任务,让生产者和消费者不必在同一时刻完成交接。线程池、延后执行和服务请求分发都可借此平衡短期速率差。缓冲并不创造处理能力:若长期进入量高于消费量,积压只会持续增长,必须把排队时间纳入容量判断。 相关卡片:队列缓冲生产消费速率差。
短暂秒杀峰值不一定值得长期扩容数据库。可先接收请求入队并告知结果待定,再由有限消费者校验库存和下单,使到达数据库的并发受控。削峰是把集中到达摊到时间轴上,代价是排队;入队成功不代表购买成功,也不能替代库存操作的正确性控制。
结构图:
mermaid
flowchart LR
A[突发购买请求] --> B[队列暂存]
B --> C[返回结果待定]
B --> D[有限消费者]
D --> E[校验库存并下单]
E --> F[最终购买结果]
相关卡片:削峰用排队换写入平稳。
消费者太少会让秒杀结果等待过久,太多又会压垮数据库。可用任务数×单任务耗时÷并发数估算理想排空时间,再结合到达速率、实际积压与数据库能力验证。原例1000次、每次0.5秒、10并发约需50秒,前提是这些任务能独立并行;这不是用户可接受时延的通用标准。 相关卡片:消费并发受等待与容量夹限。
购买主流程过长时,可将不影响当次购买结果的优惠券发放、积分增加移到异步消费,缩短生成订单和扣库存的关键路径。异步只是推迟执行,不是省掉工作;业务必须允许这些结果稍后可见,并为失败补偿留出机制,不能为了性能把必要成功条件移出主流程。 相关卡片:异步后置非关键购买步骤。
发布购买事件后,由统计系统订阅并自行过滤数据,可把同步接口依赖改为消息契约依赖,降低统计系统故障对下单的直接影响。解耦不等于双方任意变更都无影响:只有消息已包含所需字段时,新增统计需求才不必修改生产者;事件格式仍需保持兼容。 相关卡片:订阅消息减少直接依赖。
引入队列获得削峰用排队换写入平稳、异步和解耦收益,也把可靠性问题移到了发送、存储、消费之间。需要明确同步与异步边界、丢失和重复处理、顺序与重试规则,以及最长等待时间。评估方案不能只比较吞吐,还要计算这些交接机制的建设和运维成本。 相关卡片:队列收益伴随可靠性交接。
18 消息投递:如何保证消息仅仅被消费一次?
“只消费一次”要分别审视发送、保存和消费三段链路。确认与重试降低丢失概率,却可能重复投递;业务幂等要求同一业务身份重复处理与一次处理结果一致。红包入账不能只凭版本冲突就丢弃:冲突也可能是另一笔合法业务先更新了余额,需要把业务去重与原子入账协调起来。Kafka内部语义也不能直接等同于外部数据库恰好一次。
购买完成后用消息异步发现金红包。生产者超时后重传,队列里可能已经写入成功,于是同一笔奖励被消费两次,用户拿到两个红包;消息丢失则会漏发并引发投诉。有限次重传降低的是网络抖动造成的丢失,同时带来重复入账。去重要靠业务标识,见 入账去重需要业务身份;账户版本只能挡住同版本重放,见 版本冲突不能直接丢弃。
关联卡片:入账去重需要业务身份、版本冲突不能直接丢弃 相关卡片:重试可能重复发放红包。
消费前先查这条消息的全局标识是否已经存在,不存在才发放红包并记下标识。标识要代表这一次业务,而不是账户当时的版本号。处理已经完成、标识还没写入时如果宕机,重启后会再发一次。原书要求把处理和写标识放进同一事务,同时成功或同时失败;要求不严时可以留下这个窗口,但不能把查无记录理解成上一笔已经安全入账。对应问题见 重试可能重复发放红包。
关联卡片:重试可能重复发放红包 相关卡片:入账去重需要业务身份。
原书给账户加钱时带上读取时的版本:version 仍是 1 才把金额加 20 并把版本改为 2,同一条消息再来就更新不到行。这只能挡住携带同一版本的重放。两条不同业务消息若都带着版本 1,第一条成功后第二条也会更新 0 行。更新 0 行只说明版本已经变了,不能据此认为第二条已经入账。问题场景见 重试可能重复发放红包,按业务标识去重见 入账去重需要业务身份。
关联卡片:重试可能重复发放红包、入账去重需要业务身份 相关卡片:版本冲突不能直接丢弃。
一条消息从写入队列到消费完成,丢失主要发生在三段:生产者发往队列时网络抖动,队列把数据留在页缓存里尚未刷盘,以及消费者在处理完成前就推进了消费进度。只加固其中一段,另外两段仍会让红包或下游动作没有执行。针对丢失的重试和延迟提交进度,又会让同一条消息被看到多次。 相关卡片:消息会在三段链路上丢失。
生产者和队列之间即使走内网也会抖动。发送超时后应重传,但不要无限重试;队列本身没有故障、网络也没有断开时,重试两到三次即可。超时不能证明写入失败,所以重传会把已经成功的消息再写一次。重传是对生产段丢失的补救,不是“只消费一次”的保证。 相关卡片:超时后只重传两到三次。
Kafka 为减少随机写,先把消息放进操作系统页缓存,再按时间或条数刷盘。机器掉电时,还没刷盘的消息会丢。把间隔改到每条都刷,能减少这种丢失,但会明显拖慢写入,而掉电本身并不常见。原书因此不建议靠同步刷盘,而是在不能容忍丢失时用多副本集群;红包消息即使丢失,也可以事后给没收到的用户补发。 相关卡片:异步刷盘靠副本降低丢失。
原书把 acks=all 写成生产者把每条消息发给 Leader,并且也发给所有 ISR,还要全部确认才算成功,进而说只有 Leader 和全部 ISR 都挂掉才会丢。Kafka 3.3 生产者配置与此不同,这是外部补充,不是原书原文:生产者把记录交给 leader,由 leader 等待全部同步副本确认;只要还剩至少一个同步副本,记录就不会因此丢失。这种等待会明显降低生产吞吐,是否启用仍取决于能否补发。 相关卡片:副本确认不是生产者扇出。
Kafka 把消费进度记在集群里。消费分三步:接收、处理、更新进度。接收或处理失败时如果已经推进进度,这条消息不会再被投递,效果和丢失一样。所以要等接收和处理都完成后才更新进度。处理刚结束、进度还没写上时消费者宕机,重启后会再次处理同一条消息。进度提交换来的是不漏处理,代价是可能重复。 相关卡片:处理完成后再提交消费进度。
完全不产生重复很难,网络抖动、宕机和处理异常都躲不开。原书因此把目标放宽:重复消息的最终结果与只处理一次相同,也就是生产到消费这段处理是幂等的。把库存减 1 做两次会减 2,不是幂等;把库存设为 0,或仅当库存仍是 10 时才减 1,重复执行结果不变。原书后文已经写出 Kafka 0.11 的生产端幂等,前一句“没有成熟方法”指的是含外部副作用的整条链路,不是队列内部完全不能去重。 相关卡片:幂等是多次与一次同结果。
Kafka 0.11 和 Pulsar 的生产端幂等,是给每个生产者一个标识,再给每条消息一个序号。服务端记下该生产者最后一条消息的序号。新消息的序号如果和已保存的最后序号相同,就当作重复并丢弃,队列里只留一份。这解决的是生产端重试造成的重复写入,不代替消费端对外部账户的去重。Pulsar 在这里只被点名为同样支持该特性,没有展开实现。 相关卡片:生产端按序号丢掉重复。
防止丢失通常要付出性能和重复处理的代价,不是每条消息都值得。日志用于事后排障,系统出问题的概率不高,偶发丢掉几条可以接受,这时队列不必配成最强防丢,业务也不必全部做成幂等。红包这类不能悄悄漏发的动作才需要重试、副本和去重。把所有队列都配成防丢、所有逻辑都要求幂等,会把额外成本加到开发和运维上。 相关卡片:能否丢消息取决于业务场景。
原书依据 · 11 处
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
- 消息投递:如何保证消息仅仅被消费一次? · 查看原书依据
19 消息队列:如何降低消息队列系统中消息的延迟?
消息延迟由排队等待和处理耗时共同形成。增加处理能力要分清同组消费者分区分配与消费者内部业务线程;异步线程提升吞吐时仍须等待处理完成再提交进度。存储顺序访问和减少数据拷贝是另一层优化,原书的吞吐数字来自特定历史实现,不是通用数据库性能排名。
下单支付后发消息,由消费程序加积分或发优惠券。用户等几分钟到十几分钟可以接受,堆积到几小时才会投诉。这是消费性能问题,不是消息有没有发出去。要先有延迟数据,才知道当前是否超标,也才能判断优化有没有用;然后再看消费姿势,以及队列如何尽快存储和投递。 相关卡片:优惠券晚到数小时会投诉。
消费延迟用条数表示时,是已生产总量减去该消费者的进度。生产了 1000 条、进度在 900,延迟就是 100 条。Kafka 0.9 之前把进度放在 ZooKeeper,之后放进内部主题 __consumer_offsets。kafka-consumer-groups.sh 的堆积列就是生产总数减当前进度。进度存放位置变了,延迟的算法没有变。 相关卡片:延迟等于已生产减已消费。
JMX 里的堆积适合做报表,是队列的基础监控,但不能直接告诉用户还要等多久。条数要积到多少才影响体验,只能靠经验。定时写入带生成时间戳的探测消息,业务消费者直接丢弃,监控消费者拿当前时间减时间戳,超过阈值再报警。条数看有没有积压,时间差看用户实际等待,两边一起用。 相关卡片:条数堆积看不出等待时长。
Kafka在一个消费者组中把每个分区分配给一个消费者;分区数因此约束同组能同时承担分区读取的消费者数量。额外消费者可能闲置,但这不意味着业务处理线程也只能有这么多:单消费者内部仍可把消息分派到线程池。原书提出避免消费进度加锁是这一设计的解释,不能据此声称不同消费者组也不能读取相同分区。 相关卡片:分区约束同组消费者数。
无法通过增加同组消费者继续扩展某分区时,可由一个消费者拉取消息,再分给预先创建的线程池处理。原书的建议提高业务处理并行度;它并未免除第18讲“处理完成后再提交消费进度”的条件。补充边界:异步任务完成次序可能不同,提交位置不能跨过尚未成功的消息,否则失败重启后可能跳过未处理消息;重投还须由业务幂等承接。 相关卡片:单消费者内用线程池并行。
队列暂时没有新消息时,如果消费线程不间断轮询,会把 CPU 打满。拉不到就等待再拉。等待不宜太长,否则消息到达后还要空等,延迟变大。可以用固定的 10 到 100 毫秒,也可以按步长从 10 毫秒增到 20 毫秒,最长 100 毫秒,一旦拉到消息就回到 10 毫秒。空转省下的是 CPU,退避换来的是稍长的发现时间。 相关卡片:拉空时退避避免空转。
作者自研消息中间件起初采用普通数据库存储消息,案例中读取约2000QPS;重构成本地磁盘存储后,利用页缓存、顺序读取和省去远程访问,案例读取QPS提升一个数量级。这是特定实现的比较,不能推出顺序磁盘必然比所有数据库快,也不能把历史数值当作当前容量承诺。存储选择应围绕消息访问模式及实测瓶颈。 相关卡片:顺序存储改善队列读取。
把磁盘上的消息发给消费者,普通路径要拷贝四次:磁盘到内核缓冲区,内核到用户缓冲区,用户缓冲区到 Socket 缓冲区,再由操作系统拷到网卡。零拷贝消不掉拷贝,只减少次数。Sendfile 让内核缓冲区直接进入 Socket 缓冲区,不再经过用户缓冲区。Java 里 FileChannel.transferTo 提供的就是这个能力。少一次跨用户态的拷贝,发送消息的吞吐会提高。
结构图:
mermaid
flowchart LR
D[磁盘] --> K[内核缓冲区]
K --> U[用户缓冲区]
U --> S[Socket 缓冲区]
S --> N[网卡]
K -->|Sendfile| S
相关卡片:Sendfile省掉用户态拷贝。
只要使用队列,任务堆积就可能变成故障。少量慢查询先占满 Tomcat 线程池,随后整个服务不可用。如果当时能看到线程池里的任务堆积,或者在线程用尽后丢弃新请求,故障有机会停在局部。消息队列的条数和时间延迟、线程池的排队长度,都要按同一种习惯监控,而不是等用户投诉才发现。 相关卡片:有队列就要监控堆积。
20 面试现场第二期
当前EPUB仅有第二期面试题目的标题,未包含项目经历问答正文,不能据此补写面试方法。它在课程结构上承担复盘入口。
U1 用户故事:从“心”出发,我还有无数个可能
用户故事记录一位传统行业开发者把高并发问题带回选课、促销和既有项目的过程。它展示学习如何从先自问、与作者比较、实际尝试,再到留言讨论和自述笔记形成闭环。分层、发号器和缓存技术例子已由相应章节解释;这些个人经历提供应用线索,不能证明同一方法对所有项目都有相同效果。
阅读前先回答一个与实际工作相关的问题,再把自己的解释与作者的机制比较,能暴露“听过术语”与真正理解之间的缺口。用户故事中的读者把分层、发号器和缓存一致性带回原项目,在实现和写笔记中检验理解;这是其经验,不是课程必然改善项目的因果证明。 相关卡片:先带工作问题再学习。
原书依据 · 1 处
T1 期中测试:10 道高并发系统设计题目自测
当前内容是期中自测的标题入口,没有十道题的题干和答案。复习功能明确,但不从不存在的题目生成知识卡。
21 系统架构:每秒 1 万次请求的系统要做服务化拆分吗?
是否拆服务取决于边界、协作和资源瓶颈,而非某个固定QPS数字。一体化应用在独立发布、代码重用和连接规模方面可能遇到困难;服务化让业务逻辑独立部署,也引入远程调用和治理成本。用户服务收口连接的收益有实例和连接池规模前提。
高峰每秒 1 万次请求、日活几十万时,订单、用户、支付、物流仍打在同一个 Web 工程里。看到别人做了微服务,容易把拆分理解成请求量过了 1 万或 2 万就必须做。原书把这个问题反过来:促使拆分的不是某一个 QPS 数字,而是连接数、研发协作和部署成本已经撑不住。 相关卡片:拆分不由每秒请求数决定。
项目刚启动时选一体化架构,是为了尽快投放、尽早验证,不是因为这种结构能长期扩展。早期的好处是代码集中、只维护一个工程,出问题也只查这一个进程。请求量和团队都还小的时候,这些便利比拆分带来的调用链更值钱。拆分要等这些便利开始反过来拖慢交付。 相关卡片:初期单体换的是上线速度。
一体化部署没有分层,应用服务器、对内接口和队列处理机都直连数据库。原书例子里上限设成 8000,50 台应用每台 30 个连接,单算外网只有 1500,加上内网和队列后高峰接近 3400。再按活动扩应用,连接就贴着上限。先被打满的是数据库连接,不是应用的 CPU。MySQL 客户端数量上限原文写的是最多 16384,实际项目里还会再调低。 相关卡片:应用扩容会打满数据库连接。
《人月神话》给出的团队内部沟通渠道约是 n(n-1)/2。100 人大约是 4950 条渠道。为了把渠道压下来,常拆成每组 5 到 7 人,例如用户、订单、支付、商品各组维护一块。人变多以后,沟通量按这个平方关系涨,不是按人数线性涨。分组只是减少渠道,还没有解决各组仍改同一套代码。 相关卡片:沟通渠道随人数平方增长。
多个小组维护同一套代码时,缺短信能力的人可能自己再写一套,而不是先问别组有没有。所有人向同一个库提交,冲突躲不开。功能耦在一起,改一小段逻辑就可能让别的功能不可用,测试只能做整体回归。一个小组的错误会打到其他小组的服务。代码还在一起,组织上的分组挡不住故障扩散。 相关卡片:共库让小改动拖垮全站。
代码只有几千行时,构建大约一分钟,可以频繁上线修问题。涨到几十万行甚至上百万行,一次构建要编译、跑单元测试、打包再上传,可能要十几分钟。任何小修改都得构建整个工程。发布变慢不是因为机器少,而是变更单位从一小段逻辑变成了整站。微服务把每个服务收成原系统的子集,构建才会重新变短。 相关卡片:构建时间随代码规模变长。
多个业务池各自直连用户库时,会重复建立用户库连接。把用户逻辑集中到独立服务,由其他业务池调用它,可把直连入口收口。原书案例能控制连接数的前提,是该服务只处理用户逻辑,较少实例即可承载流量。实例增加、连接池上限扩大仍会增加数据库连接,因此拆服务本身并不保证连接总数不增长。 相关卡片:用户服务收口数据库连接。
推荐和内容展示都要把 IP 或经纬度换成城市。每个模块各写一套,逻辑就重复了。把这件与具体业务无关的转换收成单独服务,其他模块改为调用。拆分有两条线:一条按业务横向切开,一条把公用能力下沉。切开之后,新功能只测自己的服务;某个服务出问题,可以用熔断和降级限制对其他服务的影响。 相关卡片:公用能力下沉成独立服务。
系统变大、人变多之后,成本会压过单纯追求性能和可用性。这里的成本包括机器费用,也包括研发、沟通和运维。直播除了起播速度还要看 CDN 费用。100 人的团队里,工具每天给每人省 10 分钟,合计接近 17 小时,大约多出 2 个人的工作时间。走上微服务,是为了扩展性,也是为了把这些成本降下来。 相关卡片:成本会成为架构决定因素。
原书依据 · 9 处
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
- 系统架构:每秒 1 万次请求的系统要做服务化拆分吗? · 查看原书依据
22 微服务架构:微服务化后系统架构要如何改造?
服务拆开后,原本的进程内调用成为跨网络协作,团队还须处理寻址、配置、追踪和接口兼容。提供方和调用方不会同时升级,参数封装只能减少部分签名变动,字段兼容仍依赖协议和默认值。改造宜从边界清楚的部分开始,模块化也可以先于服务化。
内容服务要给认证用户加权,若自己解释用户表的认证字段,字段含义一变就得跟着改。用户服务应负责认证判断,内容服务只依赖其对外提供的结果。服务边界不仅是数据归属,也包括业务规则由谁解释。 相关卡片:认证判断应留在用户服务。
刚从单体拆出服务时,业务边界尚不稳定。过细拆分会增加部署和运维对象,并把进程内调用变成跨网络 RPC。先按较粗的业务能力拆分,等边界和成本有了实际证据再细化;“微”不是一方法一服务。 相关卡片:初拆服务宜粗不宜碎。
服务化若一次性停掉功能开发、全盘重构,会把架构改造的收益押在一次高风险切换上。先从短信、地理位置等相对独立的边界能力剥离,在业务继续迭代时积累拆分与运维经验,再处理核心链路。这里优先控制变更影响面,而非追求拆分速度。 相关卡片:先剥离独立的边界能力。
若内容服务依赖用户服务,先拆内容服务,它仍需调用单体中的用户模块,独立部署的收益受限。应先拆被依赖的用户服务,再拆内容服务,最后拆依赖内容服务的互动服务。先识别调用依赖,再给拆分排序。
结构图:
mermaid
flowchart LR
U[用户服务] --> C[内容服务]
C --> I[互动服务]
相关卡片:按依赖方向安排拆分。
服务分开部署后,提供方与调用方不会同时升级。直接把三参数接口改成四参数接口,会让尚未升级的调用方报错。接口演进要允许新旧版本暂时共存;把参数封装为对象可减少签名变动,但新增字段是否可选、默认值是否安全仍要单独核对。 相关卡片:接口演进要兼容旧调用方。
单体内的方法调用改成跨进程调用后,调用方必须知道目标实例的地址与端口;服务实例还会启停或迁移。注册中心因此不仅保存地址列表,还要跟踪实例存活状态。它解决“调用谁、去哪找”的问题,不消除网络延迟。 相关卡片:网络调用需要服务寻址。
微服务间的调用形成依赖网。下游变慢时,上游线程等待它返回,线程池逐渐耗尽,上游也开始变慢;故障可能继续向更上层传播。拆分进程不能自动隔离这类等待,需结合超时、限流、熔断等治理手段限制传播。 相关卡片:慢依赖会沿调用链扩散。
一次请求穿过多个服务后,单看各服务报错或耗时,难定位究竟哪段拖慢了请求。服务端监控观察依赖和资源的整体表现,分布式追踪还原单次请求经过的调用路径与耗时。两者结合,才能从“哪里普遍异常”走到“这次慢在哪一步”。 相关卡片:追踪与监控回答不同问题。
按业务拆了服务,却仍让多个职能团队共同负责每次改动,跨团队协调成本不会随代码拆分自动下降。服务边界与自治团队的责任边界尽量对齐,让开发、测试与运维能围绕同一模块协作;这是组织安排与架构相互制约的体现。 相关卡片:服务边界要配团队边界。
团队还不足以承担微服务的分布式运维成本,但单体构建与协作已变慢时,可先按业务边界拆分代码工程,以模块依赖约束职责。这样能减轻部分研发和构建成本,却不提供独立部署与独立扩容;它是有边界的过渡方案。 相关卡片:模块化可先于服务化。
原书依据 · 10 处
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
- 微服务架构:微服务化后系统架构要如何改造? · 查看原书依据
23 RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用?
RPC把网络中的远程请求包装成程序接口,但序列化、传输、反序列化与调度仍真实存在。高吞吐调用需理解I/O模型、连接复用和协议开销;小包等待可能与Nagle和延迟确认叠加,具体延迟依赖实现条件,不能把案例中的时间当作固定定律。选序列化还要考虑接口演进。
RPC 是通过网络调用另一台机器上服务的方式,框架负责封装地址、传输和数据编解码等细节,让调用方能以接近本地方法的形式发起请求。形式像本地调用,不代表耗时和故障语义也相同;网络边界仍要单独设计。 相关卡片:RPC封装远程调用。
商品详情要汇总商品、评论和店铺数据。单体内三次查库,拆成三个服务后先跨服务取数据,各服务再查库,示例中的网络请求变为六次。服务拆得越细,调用路径越长;扩展性收益需要与延迟预算一起衡量,呼应初拆服务宜粗不宜碎。 相关卡片:服务化增加网络往返。
一次 RPC 不只是把请求发出去。调用参数由客户端序列化,服务端反序列化后执行方法;返回值再由服务端序列化、客户端反序列化。两次序列化和两次反序列化都消耗时间,网络传输也占据总延迟,所以优化要先按调用阶段定位瓶颈。
结构图:
mermaid
flowchart LR
A[客户端参数] --> B[序列化请求]
B --> C[网络传输]
C --> D[服务端反序列化]
D --> E[执行方法]
E --> F[序列化结果]
F --> G[网络返回]
G --> H[客户端反序列化]
相关卡片:RPC调用经历四次编解码。
Java RMI 让 Java 程序调用远端 Java 对象的方法,是 RPC 的一种实现。它使用面向 Java 远程对象的 JRMP 协议和 Java 原生对象序列化,因而不适合作为跨语言、高效传输的通用方案。判断 RPC 方案不能只看能否远程调用,还要看协议与数据格式的边界。 相关卡片:RMI难以跨语言通信。
Web Service 通过 HTTP 与 SOAP 承载远程调用,使不同语言和平台在支持相应协议及 XML 解析时可以互通。XML 封装带来较大的数据包,性能敏感场景需衡量传输成本。它说明跨语言能力与数据体积可以形成明确取舍。 相关卡片:WebService报文偏大。
网络 I/O 可分为等待数据可用和把数据拷入应用缓冲区两个阶段。等待阶段讨论阻塞或非阻塞;拷贝阶段讨论由调用方等待完成,还是操作系统完成后通知。只说“非阻塞”不足以判断整个读取过程是否异步,需要说明指的是哪一段。 相关卡片:IO要分等待与拷贝两段。
同步多路 I/O 复用让程序在一处等待多个连接的就绪事件,哪个连接可用就先处理哪个,避免为每个连接都持续占用一个等待线程。就绪通知并不等于读写已由系统异步完成;业务处理仍需关注执行时间。 相关卡片:多路复用同时等待多连接。
交互频繁但每次只发少量数据时,Nagle 算法可能暂存后续小包,等待前一个包的确认或数据凑满。若接收方又延迟发送 ACK,两端的等待会叠加。本书项目抓包看到约 40ms 的等待;这是该案例的测量结果,不是所有 TCP 连接的固定延迟。 相关卡片:Nagle与延迟确认可能叠加。
若抓包确认小包在发送端等待确认,交互型 RPC 可评估启用 TCP_NODELAY,关闭 Nagle 合并小包的行为,让后续数据尽快发送。代价是小包及协议头占用可能增加,仍须用本系统的请求大小、吞吐和延迟数据验证,不能把开关当作通用提速保证。 相关卡片:TCP_NODELAY减少等待。
序列化把对象变为可传输的字节串,反序列化将字节串还原为对象。一次 RPC 的请求与响应都要走这两个方向,因此要同时衡量编解码时间和编码后体积:前者占用计算资源,后者影响网络带宽与传输时间。 相关卡片:序列化同时影响CPU与带宽。
接口描述语言 IDL 用独立的契约文件描述传输数据,再生成不同语言的代码。Thrift、Protobuf 通过这层约定实现跨语言通信,也把协议维护和代码生成纳入开发流程。它不只是“更小的格式”,还改变了接口协作方式。 相关卡片:IDL用契约换跨语言能力。
选择传输格式时,只比较编解码速度和字节体积仍不够。调用双方可能用不同语言、不同时间升级,新增字段若导致旧版本无法解析,就会把正常发布变成调用故障。应同时检查跨语言支持与协议演进能力,再用实测成本决定是否采用更紧凑的格式。 相关卡片:序列化选型要看演进能力。
常见 I/O 模型包括同步阻塞、同步非阻塞、同步多路复用、信号驱动和异步 I/O。区分它们要看等待数据就绪时如何通知,以及数据读取或拷贝时谁负责等待完成;名字相似并不意味着执行阶段相同。选型时应先找出连接数和线程等待的主要成本。 相关卡片:五种IO模型区分处理阶段。
数据量小、性能要求不高时,JSON 简单易用;高频调用或较大载荷则可评估 Thrift、Protobuf 等格式的编码速度和体积。二进制方案通常增加 IDL 与代码生成的协作成本,不能只凭“更快”选型;还要核验语言支持与版本兼容。 相关卡片:JSON与二进制格式按场景取舍。
原书依据 · 14 处
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
- RPC 框架:10 万 QPS 下如何实现毫秒级的服务调用? · 查看原书依据
24 注册中心:分布式系统如何寻址?
注册中心保存服务实例的位置,供调用方把服务名变成可连接地址。实例启动、心跳、失效检测和订阅更新共同维护这份映射。网络隔离时,“没有收到心跳”并不总等于实例真的死亡,因此摘除速度、保护机制与可用性之间需要取舍;调用方缓存名单也承担容错作用。
RPC 客户端若把服务端地址写在配置或代码里,扩容、故障摘除都要改配置并重启调用方;上线前也难先排空旧节点流量。地址本身不是问题,地址变化无法及时传给调用方才是动态服务集群的瓶颈。 相关卡片:静态地址阻碍服务扩缩。
注册中心存储服务实例地址,并在实例列表变化时通知订阅该服务的客户端。客户端据此更新可调用节点,不必每次扩缩容都重启。它提供的是动态寻址能力,不能单凭“地址已注册”保证该实例当前能成功处理请求。 相关卡片:注册中心推送地址变更。
调用方先订阅目标服务;服务端向注册中心登记实例地址;注册中心把最新地址通知调用方,调用方再向实例发起 RPC。地址变更经这条链路传播,故障定位时要区分服务端未注册、通知未到和客户端调用失败。
结构图:
mermaid
flowchart LR
S[服务端注册] --> R[注册中心保存地址]
C[客户端订阅] --> R
R --> N[推送地址变更]
N --> C
C --> Q[调用服务实例]
相关卡片:注册订阅形成寻址链路。
直接停掉 RPC 实例会让已发往它的请求中断。计划下线时先把实例从注册列表移除,待调用方不再送入新流量并观察存量流量结束,再停止进程。摘除与停止之间必须留出传播及处理时间,否则“已注销”也可能仍有在途请求。 相关卡片:服务退出要先排空流量。
服务端计划下线可以主动取消注册,但机器掉电或网络断开时,它已无法发送注销消息。若注册中心只相信主动上报,客户端会继续调用故障地址。实例状态必须有独立的失活判定机制,且判定可能存在延迟与误报。 相关卡片:意外故障不能依赖主动注销。
注册中心可定期探测服务端开放的端口来判断存活,但混合部署时统一探测端口可能冲突,实例多时探测成本和发现延迟也会增加。探测失败还可能是网络路径问题,不能仅凭一次失败就认定业务进程不可用。 相关卡片:主动探测受规模与端口约束。
心跳机制由服务实例定期向注册中心续约;中心记录最近续约时间,超过设定期限仍未续约才判为失活。它避免对每个实例反复主动探测端口,但能否正确判定取决于时钟、心跳链路和状态存储是否及时可靠。 相关卡片:心跳用续约时间判断失活。
心跳续约写入主库,另一机房注册中心却从滞后的从库读取。专线拥塞使续约时间迟迟不更新,中心据此把仍在工作的实例判为失活并批量摘除,客户端最终拿不到地址。问题不是服务同时死亡,而是判定依据落后于真实状态;保护思路见批量摘除需设置保护闸。 相关卡片:复制延迟会误摘全站节点。
当注册中心一次准备摘除大量实例时,应先暂停批量摘除并告警,排查是否是续约链路或存储故障,而非所有服务同时死亡。案例把阈值设为集群节点的 40%,这只是该系统的保护配置;适用比例需要结合故障规模与剩余容量验证。对应故障见复制延迟会误摘全站节点。 相关卡片:批量摘除需设置保护闸。
只变更一个服务节点,却向每个调用者重发整份节点列表,会把一次小变更放大为大量地址数据传输。书中用 100 个调用方、每份 100 节点的列表估出 1 万条节点数据;多集群同时变更时,注册中心带宽会成为瓶颈。解法见增量通知降低推送量。 相关卡片:全量推送形成通知风暴。
对全量推送形成通知风暴,若只变更一个实例,可只通知该实例的增删,而非重发完整列表;同时按峰值带宽控制单组注册中心规模,必要时扩容。增量方案减少消息体积,也要求客户端正确维护本地列表并处理漏通知后的重同步。 相关卡片:增量通知降低推送量。
服务治理是管理多个服务节点组成的集群所带来的复杂性,注册发现只是其中一环。监控、故障隔离、链路追踪和负载均衡分别处理流量观察、故障传播、定位与分配问题。把这些能力统称治理,有助于检查拆分后的运行责任,而非误以为服务能调用就算改造完成。 相关卡片:服务治理管理集群复杂性。
25 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查?
分布式追踪为一次请求跨组件的执行片段建立关联。请求标识把日志串起来,片段标识与父子关系进一步表达谁调用谁,耗时记录帮助定位慢依赖。采样和集中存储限制日志开销;上下文必须跨线程、跨网络传递,单靠进程内变量不会自动形成完整链路。
下单接口整体变慢时,先记录各步骤耗时,找到延迟最高的一步,再向该步骤内部细分。只盯接口总耗时无法区分数据库、缓存和远程服务的责任;逐层缩小范围比同时优化所有依赖更有效。 相关卡片:慢请求要定位耗时步骤。
并发请求的耗时日志会交错,单凭时间顺序无法复原某次下单。入口生成 requestId,并让该请求后续日志携带同一标识,才能按单次请求聚合步骤耗时。标识也可由客户端生成并传给服务端,关联两端日志;传播一旦中断,链路也会断开。 相关卡片:请求标识串联并发日志。
每排查一个慢接口都手工加日志、重启服务,定位成本会随接口数增长。可在数据库、缓存及外部服务客户端的公共调用边界统一记录耗时;切面编程把采集逻辑与业务代码分开,但仍须覆盖真正的瓶颈路径。 相关卡片:公共依赖打点减少侵入。
切面编程可在不逐处改业务方法的前提下插入日志等横切逻辑。书中区分编译期注入的静态代理与运行期生成代理对象的动态代理;选型要核对实际框架、采集开销和部署方式,不能仅凭“静态更快”的概括下结论。 相关卡片:切面有编译与运行两种注入。
高 QPS 下每次请求记录十几条追踪日志,会放大磁盘与网络 I/O。按请求标识做一致采样,可减少采集量并保留被选中请求的完整步骤;采样率要随排障需要和系统负载调整,不能把未采样请求当作无异常。 相关卡片:采样控制追踪开销。
requestId 能串起日志,却不能告诉排障者日志落在哪台服务器。把采集记录经消息队列汇入集中存储后,可按标识一次查询跨机片段;这解决检索分散问题,并不自动补出服务间调用关系。 相关卡片:集中存储缩短跨机检索。
traceId 标识一次跨服务请求,spanId 标识其中一次调用片段。共同标识只能说明日志属于同一请求,无法表达谁调用谁;书中用层级化 spanId 展示父子关系,这是本章示例的编码方式,不应误认为所有追踪系统都采用相同格式。 相关卡片:追踪标识与调用片段分工。
跨 RPC 的慢请求如何不断链?调用方从上下文取当前追踪标识,为本次调用生成片段标识并随请求发送;服务方恢复标识后再打点或继续下游调用。只在本机线程保存标识,跨进程后就无法重建完整链路。 相关卡片:调用上下文必须跨服务传递。
只追踪 RPC 会知道慢在哪个服务,却未必知道该服务为何慢。数据库、缓存和 HTTP 客户端的耗时也要带上当前 traceId 与 spanId 汇集,才能沿服务调用片段继续定位资源瓶颈;采集边界应覆盖实际依赖。 相关卡片:资源耗时并入调用链。
追踪本身增加 I/O,故障排查能力不应以压垮线上服务为代价。自研采集链路应能及时关闭日志;使用现成组件可从低采样率起步,观察性能再调整。开关和采样率是运行时风险控制手段,不等于定位质量已充分。 相关卡片:追踪开关保留退路。
原书依据 · 10 处
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
- 分布式 Trace:横跨几十个分布式组件的慢请求要如何排查? · 查看原书依据
26 负载均衡:怎样提升系统的横向扩展能力?
负载均衡把请求分配给多个实例,使调用方不必逐一管理后端地址。轮询、权重和动态信号分别表达均分、容量差异与实时状态;选错信号或健康检测也会把流量送向问题节点。客户端和代理端的分流位置不同,因此可见信息、升级和故障影响范围也不同。
负载均衡把请求分配给多个处理节点,降低单节点压力,也把后端节点清单和部署变化隔离在请求方之外。横向扩容能否真正增吞吐,还取决于分配策略、节点健康和下游容量,不能只看新增了多少机器。 相关卡片:负载均衡隐藏节点扩容。
代理式负载均衡作为独立服务位于调用方和业务节点之间,先接收请求再选择后端。它让调用方无需持有节点列表,但代理层自身承接全量入口流量,扩容业务节点时也要评估代理容量与可用性。 相关卡片:代理分流承接全部请求。
客户端负载均衡嵌入调用方进程,由注册中心提供服务节点列表,客户端按策略选节点并直接发起调用。它省去单独的分流跳点,却要求每个客户端正确更新节点视图、处理失效节点,不能把注册发现等同于健康保证。 相关卡片:客户端分流贴近调用方。
四层分流依据传输层连接信息,不能直接按应用 URL 细分;七层分流能识别 HTTP 层请求并按域名或路径配置路由。入口选哪一层,取决于需要的路由粒度与转发开销,不能仅用产品名替代能力判断。 相关卡片:四层与七层分流边界。
入口既要承接大量流量,又要按业务细分路由时,可把粗粒度分发和细粒度路由分层,让前层分散入口压力、后层处理应用规则。但多一层就多一组组件与故障面;规模不高时应评估直接使用七层入口是否足够。 相关卡片:入口分层平衡能力与成本。
静态分配只按预设规则选节点,不参考后端实时状态;动态分配依据连接数、响应时间等运行信息选节点。动态策略有机会避开繁忙节点,但其观测值可能滞后,选择策略仍需结合负载形态与采集成本验证。 相关卡片:静态动态策略依据不同。
节点配置接近时,轮询按服务列表顺序分配请求,能让请求数大体平均;若节点容量不同,平均请求数不等于平均负载,高配置节点的余量可能闲置。轮询适合负载和节点能力相近的场景,并非普遍最优。 相关卡片:轮询分流忽略容量差异。
后端机器处理能力不一致时,可给容量更高的节点更大轮询权重,让它接收更多请求。权重表达的是预估能力,不会自动反映突发故障或请求成本变化;配置后仍须观察实际响应与饱和程度。 相关卡片:加权轮询表达容量差异。
节点负载随时间变化时,固定权重可能失准。分流端可观察活跃连接数或调用响应时间,优先选相对空闲的节点;但连接少不一定代表剩余容量大,响应快也可能只是请求较轻,需验证信号能否代表目标负载。 相关卡片:动态分流利用运行信号。
轮询等策略只决定向谁分配,并不保证被选节点可服务。负载均衡端定期调用健康接口,连续失败达到阈值才摘除、连续成功再恢复,可减少偶发探测错误引起的频繁切换;健康接口也必须反映关键依赖是否就绪。 相关卡片:故障检测排除不可用节点。
服务刚启动时,进程存活不代表依赖已经初始化。先让健康接口报告未就绪,资源准备完成后再报告可用,可避免新节点过早接单;就绪状态与存活状态的用途不同,不能把所有启动中的节点都当作故障。 相关卡片:就绪后再接入流量。
重启服务前先把节点标为不可接新请求,等待负载均衡端停止分流,再让正在处理的请求结束。切流与排空是两个阶段:只停止新流量但立即杀进程,仍可能使在途请求失败。 相关卡片:下线先切流量再排空。
原书依据 · 12 处
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
- 负载均衡:怎样提升系统的横向扩展能力? · 查看原书依据
27 API 网关:系统的门面要如何做?
API网关是外部请求进入内部服务的统一入口,可承接路由、协议适配和共性治理。统一入口便于集中管理,也可能成为性能或故障集中点,因此要限制职责、隔离资源并保留扩展路径。身份相关业务判断仍应由掌握用户语义的服务负责,不能把所有业务都塞到网关。
API 网关是一种架构模式:把多个服务共有的治理能力集中到独立部署层,统一管控系统进出流量。它适合承载跨服务共性策略;若把业务规则也不断塞入网关,边界会模糊并形成新的耦合中心。 相关卡片:网关统一治理系统边界。
入口网关给客户端单一接入地址,再把请求动态路由到内部服务并按需转换协议。客户端由此不必知道服务地址和协议细节;网关仍须维护路由与协议映射,统一入口也成为容量和可用性关键点。 相关卡片:入口网关统一外部接入。
内部服务可能分别暴露 HTTP、RPC 或遗留 Web Service。网关可把这些差异收敛成客户端统一调用方式,降低客户端适配成本;协议转换不应掩盖语义、错误码和超时差异,边界仍需明确约定。 相关卡片:统一入口屏蔽服务协议差异。
认证授权、限流、熔断、降级、黑白名单和访问日志若在多个服务重复实现,会增加维护和跨语言复用成本。网关能集中这些共性入口策略,但具体业务服务仍需守住自身授权与数据边界,不能把网关当作唯一安全防线。 相关卡片:网关承接跨服务共性策略。
APP、浏览器和内部服务可能使用不同认证方式。入口网关可统一识别并适配这些凭证,减少业务服务重复处理协议细节;身份校验集中后,仍要把授权决策绑定到具体资源和操作,避免只认证不鉴权。 相关卡片:不同客户端认证集中适配。
应用访问多个第三方系统时,出口网关可集中外部 API 的认证、授权、审计和访问控制。它使出站规则更易复用和审计,但支付签名、密钥边界及业务校验仍需明确责任归属,集中代理也要纳入故障治理。 相关卡片:出口网关收敛外部访问。
网关治理动作有通用项,也有业务方定制项。把动作封装为过滤器并按顺序组成责任链,可独立插入或移除步骤,减少过滤器间直接依赖;链路顺序与失败语义必须显式管理,否则扩展灵活会变成难以推理的执行流程。 相关卡片:过滤器链扩展治理能力。
入口网关位于每个请求的必经路径,其排队和处理时间会叠加到端到端延迟。若业务处理只需数毫秒,网关额外耗时就可能显著影响体验;因此要测量真实负载下的 I/O、过滤器和下游调用开销,而非只看单组件基准。 相关卡片:入口耗时直接叠加响应时间。
网关并行调用多个后端时,某服务响应变慢会长期占住工作线程,最终挤压其他服务请求。按服务使用独立线程池,或在共享池里设置服务与接口配额,可限制故障扩散;隔离容量需按流量和延迟校准,过小也会造成排队。 相关卡片:线程池隔离阻止故障扩散。
页面数据聚合涉及商品、用户、评论等业务含义。把它放进通用网关会让基础设施层承担业务编排;若由贴近领域的聚合服务负责,通用网关就能保持协议转换与流量治理边界。选择应看复用范围和业务变化频率。 相关卡片:聚合逻辑应贴近业务边界。
已有 Web 层同时做协议转换、限流、黑名单和服务聚合时,可先把跨服务共性的入口治理迁到网关,再把业务聚合留在服务层。按职责渐进拆分能减少一次性重构风险,也要同步核对路由、鉴权和故障回退。 相关卡片:旧Web层可渐进拆出网关。
网关把路由、安全策略、协议转换和下游调用集中后,复用性提高,故障影响面也会变大。过滤器链、线程池隔离和明确的业务边界分别控制扩展耦合、资源竞争与职责膨胀;上线时应分别验证这些失效路径。 相关卡片:网关扩展需要隔离机制。
Kong 是构建在 Nginx 上的 API 网关实现,借助 Lua 扩展网关逻辑。它把既有 Nginx 运维能力与网关插件结合,适合已熟悉 Nginx 的团队评估;书中关于性能领先的判断属于当时比较,选型前应按当前版本和负载实测。 相关卡片:Kong基于Nginx扩展。
Zuul 是 Spring Cloud 生态中的 API 网关实现。原文介绍 Zuul 1 以 Servlet 同步阻塞方式处理请求,Zuul 2 改用 Netty 及非阻塞调用,并以过滤器链组织路由前后逻辑;这些实现细节有版本边界,不能当作当前选型结论。 相关卡片:Zuul按过滤器组织网关逻辑。
Tyk 是 Go 实现的轻量 API 网关,原文提到其插件资源较丰富,作为 Go 技术栈团队可评估的实现选项。语言栈只能缩小候选范围,实际是否合适仍要核对当前功能、维护状态、性能和运维成本。 相关卡片:Tyk以Go实现轻量网关。
原书依据 · 15 处
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
- API 网关:系统的门面要如何做? · 查看原书依据
28 多机房部署:跨地域的分布式系统如何做?
多机房部署同时处理容量、网络距离与机房级故障。主备、同城双活和异地多活的数据写入位置、同步成本及故障切换方式不同。跨地域复制不能消灭传播延迟,用户归属和本地缓存能改善路径,但必须明确更新怎样到达其他机房及冲突怎样处理。
多机房部署是在不同 IDC 放置多套可承接用户流量的服务,并让它们共享业务数据,以便机房故障时切流。多机房只是容灾能力的基础,数据复制、流量切换和恢复流程都要可用,单纯复制应用并不能保证服务连续。 相关卡片:多机房共享数据承接流量。
跨机房访问一次可能只增加几毫秒,但请求若连续读取缓存、数据库十几次,延迟会逐次累积并挤压接口预算。设计时应按调用次数计算往返成本,尽可能把服务调用和数据读取留在本机房;原文延迟数字是其成书时的经验值。 相关卡片:跨机房往返会放大延迟。
同城双机房可在两边部署应用与从库,查询优先读本机房缓存和副本;写入仍集中到主库时会跨机房,但短距离延迟较低。它以较低架构复杂度获得机房级容灾,不能据此认为已覆盖城市级灾害。 相关卡片:同城双活优先本地读写。
同城双机房的主库故障后,可将另一机房从库提升为主库,让业务继续写入。切主依赖复制状态和明确的故障决策;副本存在延迟时,提升操作涉及数据完整性取舍,不能只把“可切换”当作无损保证。 相关卡片:切主使备用机房承接写入。
多机房服务向注册中心登记不同机房的服务组,客户端优先订阅本机房服务,可减少跨机房 RPC 往返。此策略还要为本地服务不可用时定义回退行为;否则延迟优化可能降低故障时的可用性。 相关卡片:同机房服务组减少远程调用。
远距离机房间同步写会把网络延迟带入用户请求。异地多活可让用户在归属机房完成写入,再异步同步到其他地域;代价是副本短暂落后,读取路由与冲突处理必须承认这种一致性边界。 相关卡片:异地多活改为本地写入。
跨地域复制可由存储系统主从同步,也可由消息驱动异地应用执行业务写入。不同数据类型可采用不同路径,例如原文建议结合消息与存储复制;方案要分别核对重放、顺序、重复处理和延迟,避免把“同步完成”当作即时一致。 相关卡片:复制与消息同步适用不同数据。
异步复制后,用户刚写入的数据可能尚未到异地副本。把用户分片并让其读写尽量落在同一机房,可优先访问主数据,减少读到旧副本的机会;跨机房查询仍可能发生,需明确何时允许读取延迟副本。 相关卡片:用户归属机房改善读后写。
跨机房读取卖家等关联数据可能增加延迟。原文建议优先让服务调用和数据读取留在本地,即使某些场景读取异地副本并接受额外延迟;这是一种场景权衡,关键业务不能未经判断就降级为陈旧数据。 相关卡片:跨机房降级顺序要看业务。
同城双活主要应对机房级故障,异地多活才把容灾范围扩到城市灾害,但跨地域延迟会迫使写入异步化并增加数据治理复杂度。先明确可接受的故障范围,再投入对应复杂度,避免为“先进架构”承担用不到的运维成本。 相关卡片:容灾范围决定部署复杂度。
多机房各自部署缓存可以让查询走本地,但数据更新必须让两地缓存保持可接受的一致性。原文提出更新双机房数据;工程上还需定义更新失败、重试和失效策略,否则本地命中率提升会以跨地域陈旧值为代价。 相关卡片:缓存本地化需处理更新。
原书依据 · 11 处
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
- 多机房部署:跨地域的分布式系统如何做? · 查看原书依据
29 Service Mesh:如何屏蔽服务化系统的服务治理细节?
Service Mesh把重试、路由等通信治理从业务代码下沉到伴随服务的代理。数据面处理实际请求,控制面管理和分发策略,业务可以减少对具体语言SDK的依赖。新增代理同时增加资源、时延和运维对象;只有治理需求与多语言协作收益足够时,这种分离才值得。
团队引入 Go、PHP 等新语言后,原有 Java RPC 客户端封装的注册发现、负载均衡和熔断策略无法直接复用,逐语言重写会重复投入。把治理能力从客户端实现中抽离,才能让语言扩展不再复制基础设施逻辑。 相关卡片:治理策略不应绑定单一语言。
Service Mesh 将通信和服务治理从业务 RPC 客户端中拆出,在应用同主机部署代理,由代理承接流量与治理策略。策略因此可跨语言复用;代价是多出代理、转发路径和运维面,不能把“业务无感”理解为零性能或零故障影响。 相关卡片:边车代理抽离治理细节。
Sidecar 是与应用同主机部署的代理。请求从调用方先经过本地代理,再到目标节点代理,治理逻辑因而离开业务代码;代理成为新的关键路径,其资源配额、升级和故障行为需要与应用一并设计。 相关卡片:Sidecar代理服务间通信。
Sidecar 代理把服务间通信拆为调用方代理、网络传输、服务方代理三个环节。调用方代理可处理发现、路由、负载和流控,服务方代理可记录访问与追踪信息后转给应用。图示表达本章描述的职责示例,不代表所有实现的固定分工。
结构图:
mermaid
flowchart LR
A[调用方应用] --> B[本地Sidecar]
B -->|发现 路由 负载 流控| C[目标Sidecar]
C -->|日志 追踪 限流| D[服务方应用]
相关卡片:代理承接调用两端治理。
数据平面承载实际请求转发,控制平面管理治理策略。若每个请求都同步访问远端控制组件,控制面延迟会进入业务关键路径;将策略执行留在数据面、由控制面下发配置,可减少请求对控制服务的依赖。 相关卡片:数据面处理控制面下发策略。
若想在不改业务调用代码的情况下接入 Sidecar,可在网络路径上透明重定向流入和流出流量。业务接入更少,但流量劫持规则和额外处理会增加性能与排障复杂度;透明不等于没有系统级变更。 相关卡片:透明劫持减少业务改造。
iptables 可通过 Netfilter 链上的规则把流出与流入数据包导向代理端口,并排除 Sidecar 自身流量以避免循环重定向。规则依赖主机网络路径和端口匹配;排查时应同时检查入站、出站与代理进程例外。 相关卡片:iptables规则重定向流量。
轻量客户端按配置把 RPC 请求送到本机 Sidecar,由代理完成发现、选址和转发。相比透明劫持,它需要客户端集成,但请求路径更显式、实现相对直接;具体侵入性取决于客户端封装和语言覆盖范围。 相关卡片:轻量客户端显式转发代理。
代理不仅能转发调用方请求,也可在服务启动时替服务节点向注册中心登记真实服务端口。这样治理逻辑从应用客户端和服务端两边抽离;注册状态与应用生命周期必须协同,否则可能把未就绪或已退出的实例暴露给调用方。 相关卡片:Sidecar可代服务注册。
Istio 是原文重点介绍的 Service Mesh 方案:数据面以 Envoy Sidecar 承载代理流量,控制面由多个组件组成并管理策略。原文所述 Mixer 每请求参与的性能问题属于当时架构描述,不能直接当作当前 Istio 版本行为。 相关卡片:Istio拆分数据面与控制面。
Linkerd 在原文中被介绍为第一代 Service Mesh,并以 Scala 实现和内存占用作为当时的特点与代价。该描述有明显时间边界,可作为技术演进史线索,不应替代对当前项目版本和维护状态的核查。 相关卡片:Linkerd早期Mesh实践。
SOFAMesh 是原文列举的蚂蚁金服开源 Service Mesh 组件,并以其在该公司落地经验作为背景。组织内规模化实践说明它曾解决特定环境需求,但不能单凭案例推断其他团队可直接复用。 相关卡片:SOFAMesh开源实践。
当多语言服务难以共享客户端治理库,或遗留服务需要快速接入统一策略时,Service Mesh 可把通信基础设施和业务实现分开。若团队语言单一、现有客户端库维护良好,Sidecar 的额外资源与运维成本可能并不划算。 相关卡片:多语言场景适用Mesh。
原书依据 · 13 处
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
- Service Mesh:如何屏蔽服务化系统的服务治理细节? · 查看原书依据
30 给系统加上眼睛:服务端监控要怎么做?
监控把系统状态转为可查询和告警的信号。延迟、流量、错误和饱和度帮助观察通用健康,业务结果和组件专属指标补足通用信号看不到的失败。采集、队列、聚合、存储和展示组成监控管道,它本身也需要控制数据量和故障影响。
服务端监控可从延迟、通信量、错误和饱和度四个信号建立基线:它们分别描述请求耗时、负载规模、失败情况和资源接近上限的程度。前三者看服务结果,饱和度解释资源余量;合看比只看机器资源更容易发现用户可感知的问题。简化视图见RED压缩通用监控信号。 相关卡片:四个黄金信号衡量服务健康。
监控错误不能只统计 HTTP 非成功响应。服务可能返回 200,却在业务处理中发生数组越界、空指针等异常;若只看协议层状态码,这类显式成功、实际失败会被漏掉。指标应同时覆盖传输结果与业务执行结果,可与四个黄金信号衡量服务健康对照。 相关卡片:业务失败不一定返回错误码。
RED 用请求量(Rate)、错误(Errors)和响应时间(Duration)描述服务请求表现,可作为四个黄金信号衡量服务健康的简化视图。它省略饱和度,因此适合快速查看请求结果,但资源是否逼近上限仍需另行观测。 相关卡片:RED压缩通用监控信号。
通用服务指标不能替代组件状态。数据库主从延迟、消息队列堆积和缓存命中率分别暴露复制、消费积压和缓存效果问题(参见复制延迟必须被持续监控、有队列就要监控堆积、命中率衡量缓存实际价值);为每类依赖补充能解释其特有故障模式的指标,才能从服务异常继续定位到具体组件。 相关卡片:组件专属指标补足通用信号。
Agent 部署在数据源所在服务器,通过组件接口读取服务端状态并发送给监控系统。例如连接 Memcached 执行 stats,再从结果中选择查询量、命中数、连接数和内存等指标。它观察组件自身状态,适合补足客户端调用视角。 相关卡片:Agent从组件侧采集指标。
Agent读取组件服务端状态,代码埋点则从调用方记录所用资源或服务的耗时、调用量和可用性。两者观察位置不同:前者说明组件自身怎样运行,后者说明依赖在真实调用中的表现;排障时结合两种视角更容易区分资源异常与调用路径问题。 相关卡片:埋点呈现调用方体验。
高频资源调用若逐次把耗时发送到监控端,会让监控系统承受与业务请求同量级的流量。客户端可按时间窗口汇总同一资源的请求总量、响应时间分位值和错误数,再批量上报,以减少遥测开销;窗口汇总会牺牲单次事件粒度。 相关卡片:先聚合埋点再上报。
访问日志可以补充组件接口和代码埋点未覆盖的服务运行信息。采集端把 Tomcat、Nginx 等日志送入监控处理链路后,可从请求记录中分析访问量、响应时间和错误;日志监控依赖可解析字段与一致的记录格式。 相关卡片:日志也是监控数据源。
监控数据集中写入时,先由消息队列承接,再交给下游处理程序,可削峰填谷,避免瞬时写入压垮监控服务。队列提供缓冲而非消除处理能力不足;因此积压本身也应监控,避免延迟被缓冲隐藏,参见有队列就要监控堆积。 相关卡片:队列缓冲监控数据峰值。
监控数据进入队列后可以分成两条处理路径:一条保留原始记录供检索;另一条解析、聚合数据并写入适合时间序列的存储,最后生成报表。前者便于回查细节,后者适合按时间观察指标趋势,两条路径服务于不同查询目的。队列积压本身也需可观测,见有队列就要监控堆积。
结构图:
mermaid
flowchart LR
A[监控数据] --> B[消息队列]
B --> C[查询处理程序]
C --> D[Elasticsearch]
D --> E[Kibana原始数据查询]
B --> F[流式处理程序]
F --> G[解析与聚合]
G --> H[时间序列数据库]
H --> I[Grafana报表]
相关卡片:监控处理链路分成查询与聚合。
服务端监控报表按“发现异常—定位依赖—追查资源根因”分层:访问趋势看整体请求、响应和错误;性能报表看资源及依赖调用;资源报表再查看连接数、命中率等组件状态。先整体后局部,能把故障定位过程组织成连续的诊断路径。
结构图:
mermaid
flowchart TD
A[访问趋势报表:整体运行] --> B{发现异常}
B --> C[性能报表:资源或依赖服务]
C --> D{定位异常对象}
D --> E[资源报表:连接数、命中率等状态]
E --> F[分析资源根因]
相关卡片:报表按诊断层次分工。
机器 CPU、内存、磁盘和网络正常,不代表用户请求正常。主从延迟、页面响应变慢和业务错误都可能先表现为功能故障;监控需从基础设施延伸到服务及依赖结果,才能在投诉之前发现业务影响,也要识别业务失败不一定返回错误码。 相关卡片:监控应覆盖业务故障信号。
原书依据 · 12 处
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
- 给系统加上眼睛:服务端监控要怎么做? · 查看原书依据
31 应用性能管理:用户的使用体验应该如何监控?
应用性能管理从客户端观察用户实际等待的过程,补足服务端看不到的DNS、网络、CDN和未到达请求。端侧事件需要分段计时、采样和汇总,才可与服务端链路对照。原书描述的数据加密与摘要流程需区分保密性和篡改检测,不能仅凭一个未认证摘要就承诺对抗攻击。
APM 对应用各层进行监测,目标是及时发现并处理问题、改善性能和可用性;它与服务端监控的区别在观察终点:服务端看后端服务,APM看终端用户体验。评价链路时应从客户端发出请求一直覆盖到响应返回。 相关卡片:APM以用户体验为中心。
用户报告下单失败,但服务端报表没有波动、日志也没有对应请求时,故障可能发生在客户端或网络,甚至请求根本没有到达服务端。此时只查服务端指标会缺少关键证据,需要端侧遥测补齐请求路径。 相关卡片:服务端看不到未到达请求。
客户端访问慢不一定是源站性能问题。原文案例中,运营商 Local DNS 可能把域名指向内容缓存、广告或钓鱼站点,也可能把解析转发给其他运营商,造成解析来源与请求源跨网;排查时应记录用户侧解析和链路数据,而非只看服务端。 相关卡片:LocalDNS会改变访问路径。
端侧 APM 可在客户端植入 SDK,由它采集信息、采样,再通过固定接口定期上传到通道服务。采样控制上报量,统一通道便于集中处理;采样策略会影响可见事件数量,不能把未采到的数据当作没有发生。 相关卡片:SDK采集后采样上报。
APM 消息把协议元信息、消息头、客户端环境和业务观测数据分开:系统部分说明协议与长度,消息头承载应用标识、时间及安全相关字段,端消息体描述客户端环境,业务消息体承载实际采集内容。分层便于解析,但字段越多也越需谨慎处理敏感数据。
结构图:
mermaid
flowchart TD
A[APM消息] --> B[系统部分:协议版本与长度]
A --> C[消息头:应用标识、时间与安全字段]
A --> D[端消息体:客户端环境]
A --> E[业务消息体:观测数据]
D --> F[按原书方案加密]
E --> F
相关卡片:APM消息按层组织。
本章描述的混合加密流程是:客户端随机生成对称密钥,用它加密端消息体和业务消息体,再用应用 RSA 公钥保护该密钥;通道服务解出密钥后读取消息体。该卡记录原书方案,不构成当前加密实现建议,算法与密钥管理须经独立安全审查。 相关卡片:RSA保护随机数据密钥。
本章示例把消息头、消息体和时间戳组合后用 MD5 生成摘要,并由接收端重算比对,意图发现传输内容变化。这里仅记录原书的历史实现描述;MD5 与无密钥摘要不能直接视为当前安全签名方案,须在独立审查中核验其安全边界。 相关卡片:原书以摘要比对发现篡改。
客户端网络库暴露请求生命周期事件时,可在开始和结束回调记录时间并计算 DNS 等阶段耗时;为一次调用分配唯一 ID,还能把多个阶段关联起来。这样排查从“请求慢”推进到具体阶段,而不是只优化服务端总耗时。 相关卡片:请求事件可分段计时。
一次客户端请求的总耗时可拆成排队等待、DNS 解析、TCP 握手、SSL、请求发送、首包等待和完整响应接收等阶段。把阶段耗时分别观测,才能判断时间消耗在客户端调度、网络建连、服务处理还是数据传输;HTTPS 才涉及 SSL 阶段。
结构图:
mermaid
flowchart LR
A[本地排队等待] --> B[DNS解析]
B --> C[TCP握手]
C --> D[SSL认证:HTTPS时]
D --> E[发送请求]
E --> F[等待首包]
F --> G[接收完整响应]
相关卡片:端到端耗时拆成请求阶段。
端侧网络数据来自用户实际访问过程,可呈现地区、运营商和请求阶段的差异,帮助判断体验问题是否来自客户端到服务端链路。它补充服务端聚合指标,但样本仍受客户端覆盖和采样影响,不能把局部观测当作所有用户的体验。 相关卡片:客户端网络数据反映访问体验。
CDN 厂商侧监控未必覆盖客户端到 CDN 的整段链路;若问题发生在用户与边缘节点之间,单看 CDN 内部数据可能无感。端侧遥测可补充这一段的访问质量,并把证据用于告警和线路优化,而非只依赖厂商报告。 相关卡片:端侧监控补齐CDN链路盲区。
APM 不只记录网络耗时,还可上报登录、下单、浏览或评论失败,以及卡顿、崩溃等端侧事件。把业务结果与网络阶段数据关联,能区分“请求慢”和“功能未完成”,也为灰度版本比较提供用户侧证据。 相关卡片:业务事件扩展体验监控。
APM 通道收到客户端消息后先解析,再把数据送入队列;下游一份写入 Elasticsearch 保留原始记录,另一份进入统计平台形成客户端报表。原始数据支持回查,聚合报表支持比较趋势,二者用途不同。
结构图:
mermaid
flowchart LR
A[客户端SDK] --> B[APM通道]
B --> C[解析JSON]
C --> D[消息队列]
D --> E[Elasticsearch原始数据]
D --> F[统计平台]
F --> G[客户端监控报表]
相关卡片:APM数据汇聚成客户端报表。
原书依据 · 13 处
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
- 应用性能管理:用户的使用体验应该如何监控? · 查看原书依据
32 压力测试:怎样设计全链路压力测试平台?
全链路压测让负载走过真实依赖形状,以发现组件交互后的容量问题。构建平台涉及流量采集、回放、压测标记、数据隔离和验证;若标记丢失或数据混入真实业务,会形成风险。压测结果只适用于环境与负载假设,流量代表性和止损机制是结论的前提。
压力测试是在高并发、大流量下观察系统峰值表现,以发现潜在性能隐患;它回答的是系统承受增长流量时哪里先到容量边界,而非只测单个接口的平均速度。发散:压测结论应连接到容量与预案,而不是只交付一个 QPS 数字。 相关卡片:压测暴露峰值瓶颈。
用户流量会穿过接入层、后端服务、数据库、缓存、消息队列、中间件和第三方依赖,因此只压一个核心模块无法暴露链路中的其他瓶颈。全链路压测把这些组件及资源共同纳入目标;发散:容量边界常由最先饱和的依赖决定,而不一定是入口服务。 相关卡片:压测必须覆盖完整调用链。
自行搭建的测试环境与正式环境可能在配置、资源或依赖上有差异,这些差异会改变压测结果;所以原文倾向在正式环境和数据上测试。发散:若只能用隔离环境,结论应标明差异与适用边界,不能把测试值直接当成线上容量。 相关卡片:测试环境差异会扭曲结果。
真实请求在对象、缓存命中与访问频率上有分布;用固定参数反复请求会让首个请求回源、后续请求持续命中缓存,无法代表线上负载。回放线上流量更接近真实访问模型;发散:压测数据集不仅要有规模,还要保留关键分布特征。 相关卡片:真实流量呈现访问分布。
单台施压机可能先达到自身 CPU、网络等性能上限,使目标系统尚未饱和时 QPS 已无法继续增长;把流量生成分散到多机房或更接近用户的位置,可减少施压端成为瓶颈并改善请求路径真实性。发散:报告也应监控压测节点自身健康度。 相关卡片:分布式压测避免施压端先饱和。
功能迭代与系统复杂度增长可能让同一台机器的承载能力随时间下降,半年前的压测数据不能保证今天仍成立;因此压测应成为稳定性保障的周期性手段。发散:把复测与重大变更、流量增长和容量计划关联,才能及时发现基线漂移。 相关卡片:性能退化要求周期复测。
全链路压测要协调 DBA、运维、依赖方与中间件团队,人工组织成本高;缺少监控时还可能伤害线上服务。自动化平台以标准流程和风险控制降低重复协调,但不会消除跨团队的容量与业务边界责任。 相关卡片:自动化平台降低协同成本。
全链路压测平台的核心是区分压测流量与正式流量,并在压测造成影响前识别风险。原文把平台能力分为流量构造与产生、压测数据隔离、系统健康检查与压测流量干预三类;前两者建立可控输入和数据边界,后一类负责观察及止损。图示的是职责关系,不代表具体产品部署拓扑。
结构图:
mermaid
flowchart LR
A[流量构造与产生] --> B[压测流量]
B --> C[压测数据隔离]
C --> D[受控链路负载]
D --> E[系统健康检查]
E --> F[流量干预与风险止损]
相关卡片:压测平台由三类能力组成。
流量数据工厂把高峰期入口请求复制并清洗后保存,压测时再切分下发给多个节点回放。它将采集与施压解耦,使同一批真实访问模型可以重复使用;发散:清洗规则必须保留压测所需分布,且剔除无效或敏感数据。 相关卡片:流量工厂保存可回放请求。
GoReplay 是原文介绍的轻量流量复制工具,可记录本机指定端口的流量并传送到流量数据工厂,也可在压测时加速回放。它对应的是流量采集与回放环节,不等于完整的全链路压测平台;具体版本能力需另行核验。 相关卡片:GoReplay流量回放。
流量染色是在请求中加入可识别的压测标记,使链路能区分压力流量与真实用户流量,并据此选择隔离、Mock 或影子存储路径。标记必须贯穿复制和回放;发散:只在入口打标而下游丢失标记,会让隔离策略失效。 相关卡片:流量染色区分压测请求。
压测读请求可能触发真实业务副作用:浏览事件会污染分析报表,推荐请求可能消耗线上用户尚未看到的候选商品。对带压测标记的流量使用 Mock、让正式流量继续访问真实服务,可隔离副作用;Mock 部署位置仍应尽量贴近真实拓扑。 相关卡片:读路径Mock隔离业务副作用。
写请求若把压测产生的数据落入正式存储,会污染线上状态;影子存储以与生产数据隔离的目标承接这些写入。原文按存储形态给出不同边界:MySQL 使用独立 Schema,Redis 使用统一前缀,Elasticsearch 使用独立索引。它们共享“逻辑隔离”目标,但隔离粒度与清理方式不同。
结构图:
mermaid
flowchart TD
A[带压测标记的写请求] --> B{存储类型}
B --> C[MySQL:独立Schema]
B --> D[Redis:统一前缀]
B --> E[Elasticsearch:独立索引]
C --> F[不写入正式数据边界]
D --> F
E --> F
相关卡片:写路径通过影子存储隔离。
全链路压测应从较低负载按步长递增,每步留出稳定观察时间;依赖或组件出现瓶颈时先降回安全负载,再扩容或排障后继续。健康度监控可按预设阈值触发减流和告警。原文的 CPU、响应时间、慢请求比例只是示例阈值,不是通用安全线。
结构图:
mermaid
flowchart TD
A[设定目标与初始负载] --> B[按步长加压]
B --> C[稳定运行并观察指标]
C --> D{是否触及阈值或瓶颈}
D -- 否 --> B
D -- 是 --> E[减少压测流量]
E --> F[告警并排查或扩容]
F --> G[确认恢复后继续压测]
G --> B
相关卡片:渐进加压并按健康度止压。
全链路压测不只用于定位性能瓶颈,也能为容量评估提供数据,并在低峰期验证降级等预案。压测结果因此同时服务于“系统能承受多少”和“异常时如何退让”;发散:演练必须把停止条件和对线上用户的影响纳入验收。 相关卡片:全链路压测支持容量评估与演练。
原书依据 · 15 处
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
- 压力测试:怎样设计全链路压力测试平台? · 查看原书依据
33 配置管理:成千上万的配置项要如何管理?
配置管理把散落在实例中的行为参数集中保存、分发和更新。集中化能让开关快速生效,但错误配置也可能迅速扩散,因此版本、灰度、回滚和读取缓存同样重要。配置中心的可用性目标应服务于业务持续运行,不能因中心短时故障就使所有实例停摆。
配置从写在代码中,演进到独立文件、再到独立目录,可依次减少改配置时的重新编译和重新打包;但独立文件仍可能需要重启才能生效。配置外置解决的是变更与构建的耦合,不自动等于热更新。 相关卡片:配置逐步脱离代码包。
把配置文件统一放在约定目录并纳入代码仓库,可将目录创建和配置拉取纳入机器初始化流程,减少新机器启动时漏部署配置的风险。标准化降低的是人为遗漏,不代表配置内容天然正确。 相关卡片:标准目录降低漏配风险。
多机房配置可拆成共享的公共层与各机房个性层;读取时先取机房配置,再回退到公共配置。复用公共项能减少重复,但覆盖顺序必须明确,否则同名配置的最终值会因读取实现而产生歧义。 相关卡片:机房配置覆盖公共配置。
配置中心可按节点、机房、全局组织配置,并采用节点优先、机房其次、全局兜底的读取顺序。层级让特例只需覆盖差异项,但也要求定位配置时同时确认环境、项目、服务和节点上下文。 相关卡片:配置中心按节点逐层回退。
轮询客户端先比较本地与服务端保存的配置MD5,只有摘要变化才拉取完整配置,可在配置少变时降低重复传输和带宽压力。摘要只是变更检测信号,真正生效仍依赖随后获取并应用新配置。 相关卡片:轮询先比MD5再拉配置。
长连接推送让服务端保存连接及其关注的配置项,变更发生时可主动通知客户端,实时性高于定期轮询;代价是维持长连接并维护订阅关系,适合确有低延迟通知需求的场景。 相关卡片:长连接以复杂度换实时性。
客户端把已获取配置保存在内存与本地文件:内存缓存减少远程交互,文件缓存则在配置中心或其存储故障、应用重启时提供启动降级。旁路缓存保住可启动性,但故障期间无法获得新变更,配置可能暂时陈旧。 相关卡片:双级缓存让配置中心旁路化。
并非所有配置都值得迁入配置中心:超时时间等需动态调整的项目适合热更新,数据库地址等基本稳定的项目可继续由文件管理。按变更需求迁移能获得调节能力,同时避免为低频配置承担迁移成本。 相关卡片:按变更频率选择配置载体。
34 降级熔断:如何屏蔽非核心系统故障的影响?
降级主动减少非核心功能,熔断在依赖持续异常时暂时停止调用,两者保护的对象和触发条件不同。慢调用占住线程和连接,可能比立即失败更容易扩散;资源隔离、超时与半开探测共同限制和恢复故障。开关必须能够控制真实路径,并在需要之前验证。
当入口扩容而非核心依赖未扩容、响应变慢时,调用方线程会持续等待并被占满,队列随之堆积,延迟再向上游传播,最终拖垮整条链路。应尽快隔离慢调用,而非只盯依赖是否宕机。 相关卡片:慢依赖如何引发服务雪崩。
依赖宕机通常让失败边界较清楚;依赖只是变慢时,调用方却可能长期占有线程等资源,造成级联耗尽。治理重点应包括超时和快速失败,不能只用存活探测判断依赖是否安全。 相关卡片:为何慢服务比宕机更危险。
远程调用反复报错或超时时,继续发送请求会让故障依赖和调用方承受无效负载。熔断器在失败达到阈值后暂时停止远程调用并快速失败;它隔离故障,不负责修复依赖或保证业务成功。 相关卡片:熔断如何阻断连续失败。
断路器为每个依赖维护关闭、打开、半打开三态:关闭时正常调用;失败达到阈值后打开并快速失败;等待恢复窗口后半打开,放少量探测请求。探测成功达到阈值才关闭,失败则重新打开,避免故障期间持续冲击依赖。
结构图:
mermaid
stateDiagram-v2
[*] --> 关闭
关闭 --> 打开: 失败达到阈值
打开 --> 半打开: 恢复计时到期
半打开 --> 关闭: 探测成功达到阈值
半打开 --> 打开: 探测失败
相关卡片:断路器用半开探测恢复。
熔断器若只累计历史失败,偶发错误也可能长期推高计数;在关闭态的一次成功调用可重置失败数,使阈值更接近连续故障信号。具体窗口和阈值仍需结合实现验证,不能照搬示例。 相关卡片:成功调用可重置失败计数。
断路器打开后立即恢复全部流量,可能再次压垮尚未恢复的依赖;先等待恢复窗口,再进入半开态尝试请求,可用受控探测判断服务是否可恢复。定时探测是实现选择,不等于依赖已健康。 相关卡片:恢复计时后再试探依赖。
整体负载过高或依赖异常时,降级通过放弃部分非核心功能或服务保住主体能力,是有损容错而非无损恢复。设计前要划清核心与非核心边界,并明确用户会失去什么、恢复条件是什么。 相关卡片:降级以牺牲功能换可用性。
商品详情依赖评论等非核心数据时,可预置开关:正常态调用评论服务,降级态返回空评论,从而在依赖异常时保留商品主体。开关值需可快速调整,但只能用于经过业务评估可舍弃的功能。 相关卡片:功能开关如何快速关闭非核心依赖。
数据库压力过大或非核心读取接口故障时,可退回缓存数据、固定降级数据或明确的繁忙响应,避免同步依赖把主链路拖垮。缓存方案要接受数据可能陈旧,不能把降级响应误当成实时结果。 相关卡片:读故障时返回缓存降级数据。
未读数等轮询读取持续给故障依赖施压时,可降低查询频率,例如把原有短周期延长,以减少请求量并保留基本信息更新。代价是数据新鲜度下降,周期应按业务容忍度决定。 相关卡片:轮询降级用降低频率减负。
同步写依赖变慢时,可考虑改为异步写,先释放同步请求链路以维持可用性;代价是写入与响应不再同步完成,一致性保证会减弱,需明确延迟、失败补偿和最终状态反馈。 相关卡片:写故障时异步化换可用性。
生产故障时才首次触发的开关可能配置错误或逻辑失效;在低流量时段或受控压测中演练,才能验证开关确实改变调用路径并按预期降级。演练应控制影响范围,不能直接冒险操作生产用户流量。 相关卡片:降级开关须在低峰演练。
新功能上线后若暴露未知问题,预先设置的新旧逻辑切换开关可快速关闭新路径,缩短问题持续时间。它补充而非替代回滚与监控;开关本身也需测试、设定负责人和清理时机。 相关卡片:发布开关提供快速回滚通道。
原书依据 · 13 处
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
- 降级熔断:如何屏蔽非核心系统故障的影响? · 查看原书依据
35 流量控制:高并发系统中我们如何操纵流量?
限流约束单位时间或并发维度的工作量,让进入系统的请求与可承载资源相配。固定窗口简单但有边界突发,滑动窗口改善统计范围,漏桶平滑输出,令牌桶允许有界突发。分布式计数带来通信成本,批量令牌又会改变精度;阈值最终要由容量证据校准。
大促峰值超过预估并冲击核心服务时,不能简单关闭核心能力;限流通过拒绝超出承载边界的部分请求,保住系统对其余请求的响应。它与降级不同,主要控制到达量而非舍弃某项功能。 相关卡片:高峰流量为何需要限流。
限流通过约束到达系统的并发请求数量,让系统在能力范围内继续响应部分用户,并拒绝超出限制的流量。它不是让所有请求都成功,而是在过载时控制损害范围,保住整体可用性。 相关卡片:限流如何守住服务承载边界。
过载可能来自全局请求总量,也可能集中于某接口、IP、用户、设备或第三方应用。可在入口层塑形全局流量,也可在RPC客户端保护单个服务;限流键和部署位置应对应实际保护对象。 相关卡片:系统与用户维度都可限流。
接收方处理不过来时,TCP在ACK中通告可用滑动窗口,发送方据此调整发送速率;缓冲区越紧张,窗口越小,发送越慢。它体现了接收能力反馈,不等同于服务入口的业务限流算法。 相关卡片:TCP窗口反馈接收能力。
固定窗口把时间切成互不重叠的区间,每个区间独立计数并在边界重置;请求超过该区间阈值时触发拒绝。实现简单、状态少,但计数边界可能与真实滚动时间段不一致。 相关卡片:固定窗口如何统计请求数。
若固定窗口阈值为每秒10次,上一秒末尾和下一秒开头各集中10次,短短20毫秒内就可能通过20次;它们分属两个计数窗口,均未超限。固定窗口的合规计数不保证任意滚动区间都平滑。 相关卡片:窗口边界会漏掉瞬时突发。
滑动窗口把一个大时间段拆成多个小窗口分别计数;每次请求到来时,汇总其之前完整滚动区间内的小窗口计数,再与阈值比较。相比固定窗口,它能识别跨边界突发,但需维护多个计数桶。 相关卡片:滑动窗口统计滚动时间段。
滑动窗口改善了固定窗口的边界漏算,却仍允许阈值范围内的请求集中到很短时间,不能让输出速率更平滑;同时为保存多个小窗口计数增加空间开销。需要平滑流量时应考虑桶式算法。 相关卡片:滑动窗口仍不能塑形瞬时流量。
输入请求先进入桶内暂存,服务端再按固定速率取出处理;输入突增时队列可吸收一部分峰值,超过容量的请求被拒绝。漏桶能平滑输出,但排队会增加响应等待时间。 相关卡片:漏桶把突发排队平滑输出。
令牌按固定速率补入桶,请求处理前必须取到令牌;桶有容量上限,令牌耗尽时请求等待或被拒绝。补充速率约束长期平均进入量,容量则决定可暂存多少突发额度。 相关卡片:令牌桶以令牌约束请求速率。
突发流量下,漏桶把请求排队会拉长响应时间;令牌桶可预存有限令牌,让一定突发请求立即通过。选择它是用突发余量换低延迟,不代表系统能长期承受超过令牌补充速率的流量。 相关卡片:令牌桶为低延迟保留突发余量。
多实例不能共享各自进程内的令牌计数时,可把令牌数量放到Redis等共享存储;但每个请求都远程取令牌会增加延迟。集中状态便于共享,却把一次本地判断变成远程依赖。 相关卡片:分布式令牌计数引入远程开销。
分布式限流若逐请求向共享存储领取令牌成本过高,可一次领取一批令牌供本机后续使用,以减少远程交互次数。批量大小会影响共享状态更新频率和本机可用额度,具体取值仍需实测。 相关卡片:批量领取令牌减少远程请求。
阈值过低会误拒正常请求,过高又挡不住过载;可通过压力测试估计系统与各服务承载能力,并把阈值放在配置中心便于调整。测试值是校准依据,不是对未来流量的永久保证。 相关卡片:限流阈值需用容量测试校准。
原书依据 · 14 处
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
- 流量控制:高并发系统中我们如何操纵流量? · 查看原书依据
36 面试现场第三期
当前EPUB只含第三期面试的标题,未提供准备方法正文。保留位置并明确内容边界,不生成虚构经验卡。
37 计数系统设计(一):面对海量数据的计数器要如何做?
计数系统保存浏览、点赞等聚合值,问题在于海量键、热点和内存成本。分片分摊数据,冷热分层与编码压缩减少资源,更新和读路径则要与一致性需求相配。本章依据近期微博访问更热选择哈希,强调真实访问分布,而不把某个切分规则当作普适答案。
面对海量微博计数,设计前要同时估算数据总量、读写并发、响应时延、可用性和数字准确性:首页读取可能达到高并发,而粉丝数突然减少又会直接损害用户信任。先明确业务指标,才能判断该优化存储、读路径还是写入;规模数字应按具体业务重新测量。 相关卡片:计数系统先刻画业务要求。
若把高频变化的计数列放在微博主体行中,每次点赞或转发都要竞争并更新同一行,热点内容会把写并发压在主体记录上。把计数作为独立数据维护,可隔离两类访问模式;代价是读取页面信息时需要组合数据。 相关卡片:计数应与微博主体分开。
计数数据量和访问量尚小时,可用 MySQL 按微博 ID 存多种计数列,一次查询取回整组指标。它结构直观、运维经验成熟,避免过早引入分片和缓存;只有量级或性能成为实测瓶颈后,再为复杂度买单。 相关卡片:小规模先用MySQL。
微博计数可考虑按ID哈希或生成时间分片。原书观察到近期微博的计数访问更热,按时间拆分会造成访问不均,最终选择哈希打散。这个案例依据是访问热度分布,并未单独测量读写各自占比;不能据此声称所有计数系统都存在相同的写热点。 相关卡片:分片应避开时间热点。
首页开始展示计数后,数据库读能力可能无法承接信息流并发;Redis 分片与副本可扩展读路径,但“数据库写成功、缓存更新失败”会产生不一致。原书案例因此转向 Redis 作为计数存储;实际采用时仍须单独验证持久化、故障恢复和数据修复策略。 相关卡片:读扩展为何转向Redis。
热门微博在短时间涌入大量点赞或转发时,可先把增量事件写入消息队列,再由消费者合并同一微博的多次加一,将多次存储更新变成一次批量增量。它降低热点键写频率,但引入异步延迟,且需要另行保证消息不丢和重复消费可控。 相关卡片:消息合并减少计数写压。
只看计数值本身会低估 Redis 的容量:字符串键、对象和指针等通用结构开销,使小型键值对占用远高于字段字节数。海量计数应按实际编码测量每条记录的内存放大率,再决定是否定制结构;原文给出的字节数是其实现案例。 相关卡片:Redis计数内存放大。
当计数键本质是数值 ID 时,若存储实现仍把它转成十进制字符串,会同时承担字符串头部和字符字节。定制为整数存储可减少这部分开销;收益取决于具体结构与访问路径,不能只凭字段宽度推算整机节省量。 相关卡片:整数键可避免字符串开销。
计数值很小而对象包装、指针占用很大时,可让连续存储项只包含 ID 与计数值,减少通用对象图中的间接引用。这样节省空间的同时也改善局部性,但会把分配、扩容和并发访问管理责任转移到定制实现。 相关卡片:紧凑布局减少指针开销。
计数 ID 哈希到数组时发生冲突,可用两个哈希值生成一串探测位置:(h1 + h2*s) % tsize。查询沿与插入相同的序列寻找 ID,避免为每项保存额外链指针;容量与哈希质量仍决定探测长度和冲突概率。 相关卡片:双重散列探测冲突位置。
若一条微博有转发、评论、点赞和浏览等多个计数,分别保存完整微博 ID 会重复支付键空间。把同一微博的计数放在一个记录中,只存一次 ID,可省去重复标识;字段扩展与单条记录更新竞争则需要按读写模式权衡。 相关卡片:多个计数共享微博ID。
计数访问具有冷热差异时,可让近期热数据留在内存,把较久未访问的数据转存 SSD;冷数据读取由独立 I/O 线程异步载入冷缓存。该分层以冷读延迟、换入换出和缓存管理复杂度换取较低内存成本,适合冷热差异明显的负载。 相关卡片:冷热分层降低全内存成本。
计数系统从 MySQL、Redis 到定制结构和 SSD 分层,并非越复杂越好;每次演进都对应当时的容量、读写或存储成本瓶颈。先量化主要痛点,再选择局部优化,并把开发维护成本纳入收益比较,避免为未经证实的规模提前定制。 相关卡片:优化应围绕真实痛点。
原书依据 · 13 处
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
- 计数系统设计(一):面对海量数据的计数器要如何做? · 查看原书依据
38 计数系统设计(二):50 万 QPS 下如何设计未读数系统?
未读数是用户看到的位置与新增事件之间的差异,有些通知还能用总数减已读快照计算。不同业务的清零、加减和关注关系语义不同,因此要区分系统通知、互动和信息流等模型。高QPS下减少逐条扫描很重要,但缓存快照与持久化仍需面对并发和丢失窗口。
@、评论、点赞和私信等点对点提醒只影响特定用户,可按用户 ID 为键维护多类未读计数;用户打开对应通知时将该类计数清零。它适合事件直接归属收件人的场景,不适用于同一通知广播给全体用户。 相关卡片:点对点未读可用通用计数。
系统通知对所有用户共享同一份消息列表,若每发布一条通知就给每个用户的计数加一,会把一次写入放大为全用户扇出。用户规模越大,逐用户更新越难满足及时性;应优先寻找共享事件流与用户游标的表示方式。 相关卡片:广播通知不宜逐用户扇出。
逐用户广播前先获取全部用户,会触发用户库全表扫描;分库分表时还要遍历所有库表,增加数据库压力并拉长响应时间。全量收件人列表不是免费输入,方案评估要把名单生成路径也纳入成本。 相关卡片:全量扫描用户库代价高。
把全量用户 ID 离线导出只能避开在线扫描,不能消除逐用户写入:一亿用户每人耗时1毫秒,串行就超过一天;并发仍有明显延迟,而且为不活跃用户保存未读值会浪费空间。优化应消除扇出,而不只是搬迁名单读取。 相关卡片:离线名单仍有扇出与闲置浪费。
全用户共享一份有序通知列表时,无须为每条通知给所有人累加计数;为每个用户保存最近读到的通知 ID,再统计其后的消息即可得到未读数。写入从全员扇出转成追加共享消息,读取则依赖游标后的范围统计能力。 相关卡片:共享通知列表用已读游标。
共享通知列表的游标会随用户积累;对长期不活跃用户清除最近已读通知 ID,可减少游标内存。系统把游标为空视为新用户并返回零未读,因此清理策略同时决定了闲置用户恢复访问时的未读语义,不能只当作无损缓存淘汰。 相关卡片:清理闲置游标以节省内存。
全员共享的红点推送可记录一个全局最近发布时间,以及每个用户最近点击时间;若用户时间早于全局时间就展示红点。这样一次全员推送只更新全局状态,不必逐个修改用户记录,适用于共享事件且判断只需新旧比较的场景。 相关卡片:全员红点用全局时间戳。
当所有人共享有限事件集合、个人只在集合中有不同进度时,可保存公共事件数据和每人的位置或时间戳,以二者差异推导未读状态。该模型减少按用户复制事件,但只适用于共享集合;个性化信息流不能直接套用。 相关卡片:共享数据加用户游标可替代计数。
关注流未读数随博主发文增加;普通用户的粉丝数较少时逐个更新尚可,但大 V 的数千万乃至上亿粉丝会把一次发文变成巨大扇出,通知延迟可能达到小时级。热点发布者与普通发布者需分别评估,而不能只按平均粉丝数设计。 相关卡片:大V发布会放大粉丝扇出。
客户端轮询会在用户没有主动操作时持续请求未读数接口,使它承受远高于业务事件触发频率的流量。原书当时记录该接口接近每秒50万次且属于非核心接口,因此要在有限资源下设计轻量读路径;该数字不是当前容量指标。 相关卡片:轮询把未读接口变成高QPS。
关注流未读数可由关注对象当前发文总数减去用户上次查看时保存的各对象发文数快照得到;对关注 B、C、D 的用户,分别相减再求和即可。该计算适合关注集合规模可控且快照可快速读取的场景。 相关卡片:关注者总数差减快照。
用户查看未读信息时,把其关注对象当前的发文总数刷新到快照;下一次读取用总数与快照之差计算新内容。快照把“上次读到哪里”物化下来,换取快速差分查询,但关注集合和快照更新必须保持协调。 相关卡片:查看时刷新关注计数快照。
关注关系是未读数计算集合的一部分;新增或取消关注若未同步更新关系快照,差值就可能把不相关博文计入,或漏掉应计内容。快照方案性能高但准确性依赖关系变更链路,需明确更新时序和允许的误差。 相关卡片:关注变更会让未读快照失准。
若关注流快照只存于缓存,缓存满时淘汰用户数据可能使其未读数变为零。原书认为该误差可接受,是基于用户难以区分相邻计数的业务假设;若产品要求精确未读,就必须持久化或重建快照,不能照搬这一取舍。 相关卡片:缓存淘汰会把未读数归零。
原书依据 · 14 处
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
- 计数系统设计(二):50 万 QPS 下如何设计未读数系统? · 查看原书依据
39 信息流设计(一):通用信息流系统的推模式要如何做?
信息流推模式在发布时把内容标识送入关注者的收件箱,使读取能较直接地取出候选。它用写入和存储放大换读取速度,粉丝特别多的作者会形成昂贵扇出。收件箱容量、重复处理和失败重试都影响使用成本,因此适用性取决于发布与阅读分布。
高并发信息流不仅要快速呈现微博,还要聚合用户资料、互动计数及关注/拉黑状态;若每次请求都跨缓存、数据库和计数器查询,聚合成本会挤压响应时限。设计时应先盘点必需字段,再减少串行远程读取。 相关卡片:信息流聚合挤压响应时间。
如何让粉丝打开信息流时少做聚合?推模式在作者发布微博时,把微博ID写入每位粉丝的收件箱,读取时再按收件箱取内容。它用发布侧的多次写入换取较直接的读取,但粉丝越多,写放大越明显。 相关卡片:推模式把微博写入粉丝收件箱。
作者粉丝数达到千万级时,一条微博需要写入大量收件箱;即使消息队列削平瞬时峰值,待处理总量仍可能造成小时级延迟。队列缓冲不能消除扇出工作量,需同时评估单条内容的接收者规模与可接受时效;推模式更适合粉丝数受限的场景,见 推模式适合粉丝数受限场景。 相关卡片:大粉丝量拖慢发布响应。
推送任务积压时,可启动多个线程并行处理写入消息,以提高收件箱写入吞吐;这只能改善处理速度,不能减少每条微博需要触达的粉丝总数。并行化还需结合存储写能力,避免把瓶颈移到数据库。 相关卡片:并行消费缓解收件箱写入峰值。
推模式的瓶颈偏向大量插入,可选用面向写入优化的存储结构减少随机写;但原书的TokuDB案例同时指出查询和删除较弱,依赖缓存缓解查询并利用低删除频率。存储选型必须匹配读写比例,不能只看写吞吐。 相关卡片:写优化存储牺牲查询与删除。
信息流的内容实体与用户时间线承担不同访问职责:原书将微博基础信息放入Feed表、将用户与微博ID关系放入Timeline表,并分别按微博ID、用户ID哈希分片。分开建模可让分片键贴合各自访问对象,但跨表聚合仍需控制读取成本。 相关卡片:Feed与时间线按不同键分片。
推模式为每位粉丝保存一条收件箱关系,因此作者每发布一次,写入量随粉丝数增长;头部账号会把单条内容放大成海量记录。若用户主要浏览近期内容,可定期清理较旧收件箱记录,以存储空间换取历史回看范围。 相关卡片:收件箱副本推高存储成本。
支持全局及多个分组收件箱时,同一条微博可能要复制到粉丝的多个时间线,消息处理量和存储都会增加。分组能力并非免费过滤;设计前要确认用户是否需要独立分组时间线,并把额外写放大纳入容量预算。 相关卡片:分组时间线再次放大推送量。
推模式把内容预写进粉丝收件箱后,删帖或取消关注都可能要求清理大量历史关系;用户长期离线时,取消关注还可能触发很大的删除任务。若逐条反向清扫的成本高于读取时过滤,应避免把清理工作扩大成扇出写操作,读取时过滤见 读取时过滤失效关注与内容。 相关卡片:取消关注与删帖清理代价高。
推模式下,取消关注或删帖不必立即扫删所有收件箱副本;读取信息流时检查作者是否仍被关注、微博是否已删除,再决定是否展示。它用读路径校验换写路径减负,适合清理成本高且可接受额外读取判断的场景。 相关卡片:读取时过滤失效关注与内容。
推模式的每条内容写入量由粉丝规模决定,因此更适合粉丝数有上限、扇出可控的业务。若粉丝规模不受限,发布延迟与副本存储会迅速放大;选择推、拉或混合方案,应先依据关系规模和时效要求评估,而非只看读取简便。 相关卡片:推模式适合粉丝数受限场景。
原书依据 · 11 处
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
- 信息流设计(一):通用信息流系统的推模式要如何做? · 查看原书依据
40 信息流设计(二):通用信息流系统的拉模式要如何做?
拉模式在读取时从关注对象的发件箱收集内容并合并排序,发布成本较低,但读取工作随关注数量增大。它还要处理分页游标、跨批次稳定性、删除与缓存。推拉结合通常让不同活跃度或粉丝规模走不同路径;选择依据是读写比例、延迟与资源预算。
如何避免发布时逐个写粉丝收件箱?拉模式只把微博写入作者发件箱,用户打开信息流时再拉取关注者的微博,按时间倒序排序聚合。它把写扩散转为读时聚合,适合需要控制发布扇出的场景。 相关卡片:拉模式聚合关注者发件箱。
大V发帖时若不再逐一推送给粉丝,就不会因单次发布扇出而等待海量收件箱写入,也无需为每位粉丝保存微博副本;代价是用户读取时要聚合多人的发件箱。它解决写侧放大,不会让总计算消失;推模式的扇出问题见 大粉丝量拖慢发布响应。 相关卡片:拉模式消除逐粉丝推送。
拉模式把成本移到读路径:一次信息流请求需查询多个关注者的发件箱,再排序聚合;关注者越多,候选数据与并发读取越多。缓存可加速,但设计仍要估算每次请求涉及的关系数和聚合工作量;信息流聚合本身的时延约束见 信息流聚合挤压响应时间。 相关卡片:关注关系放大拉取聚合。
若大多数信息流浏览集中在近期,就无需把每个用户的全部历史微博ID都放入缓存;按实测浏览窗口只缓存近期数据,可降低内存占用。原书的97%和5天是其业务观测,不应直接当作其他产品的默认窗口。 相关卡片:按浏览窗口裁剪缓存数据。
拉模式需读取多个关注者的发件箱,可把近期微博ID按用户分散到缓存节点,并行批量查询,再在应用内存排序归并。批量和并行可减少串行等待,但缓存分布、数据量及归并开销仍需按实际负载验证。 相关卡片:批量并行读取后本地归并。
拉模式即使命中缓存,也可能因请求频率和返回数据量叠加而受网卡带宽限制。估算时应把QPS、单次结果字节数和节点分布相乘;原书约100MB的计算是特定关注数、微博数与请求量下的示例,不是固定容量结论。 相关卡片:聚合请求会耗尽缓存带宽。
缓存主节点带宽吃紧时,可让副本承接请求,命中副本的流量不再访问主缓存;副本命中率越高,主节点压力越低。副本自身仍需承担流量并带来存储和维护成本,因此要按命中率、节点带宽及一致性要求核算收益。 相关卡片:缓存副本分摊主节点带宽。
已有系统采用推模式时,完全改成拉模式可能代价过高;推拉结合可保留原架构,只让大V内容推送给活跃粉丝,其余读者再通过补齐机制获得内容。它以额外状态维护换取渐进改造空间,活跃粉丝推送见 大V只推送给活跃粉丝。 相关卡片:推拉结合降低存量改造成本。
推拉结合不向大V的全部粉丝扇出,而只推送给活跃粉丝,可减少大规模写入并让活跃用户较快看到内容。非活跃用户需要在重新活跃时补齐内容;活跃名单容量和维护逻辑因此成为方案的一部分,活跃状态定义见 用近期操作定义活跃用户。 相关卡片:大V只推送给活跃粉丝。
推拉结合需要区分活跃粉丝,可把最近刷新信息流、发帖、互动或关注等行为作为活跃信号。活跃是业务定义而非固定身份,需明确时间窗口与操作集合,并处理过期用户回落和重新活跃的状态变化。 相关卡片:用近期操作定义活跃用户。
为大V维护活跃粉丝名单时,可设置固定容量,超出后淘汰最早加入者,以限制每次发布的推送规模。容量上限控制了扇出成本,却也意味着被淘汰者可能错过实时推送,必须配套 异步补齐保证信息流完整。 相关卡片:有界活跃粉丝表控制扇出。
用户从不活跃变为活跃时,系统可查询其关注关系中的大V,并把该用户加入对应活跃粉丝列表;这样后续大V发布时能实时推送。状态转换会触发跨关系维护,需避免把一次用户操作变成无界扫描。 相关卡片:用户活跃时补入大V名单。
活跃粉丝名单有界且会淘汰用户,用户重新活跃后也可能不在大V名单中,因此无法收到实时推送;异步把大V近期微博写入其收件箱可补齐缺口。实时性和完整性由不同路径保障,需明确补齐范围。 相关卡片:异步补齐保证信息流完整。
推拉结合用活跃粉丝名单减少大V扇出,但要维护在线/活跃状态和额外名单,且规模继续增长后名单存储与推送仍可能成瓶颈。原书的粉丝量级只描述其经验区间;方案选择应同时比较延迟、存储和状态维护成本,并与纯拉模式的聚合代价 关注关系放大拉取聚合 对照。 相关卡片:推拉结合需权衡活跃态维护。
原书依据 · 14 处
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
- 信息流设计(二):通用信息流系统的拉模式要如何做? · 查看原书依据
E1 结束语:学不可以已
结束语把基础知识、案例反思、提问交流、清晰判断和实际行动联系起来。作者认为单个案例不足以覆盖理论,基础体系又要靠具体问题持续深化;这是一种学习主张,不是对职业年龄或成功的普遍预测。职业规划中的梯度、速度、高度、深度与热度是个人建议,读者应按现实目标判断,而不把不断追逐新技术替代基础理解。
先建立算法、操作系统、网络等基础知识体系,再把具体故障当作检验和深化理论的材料。单个案例覆盖不了理论的所有情形;反过来,理解理论能帮助比较新问题的条件。复盘时继续追问根因、如何避免重犯与更好的解决思路,并通过团队交流补充自己的盲点。 相关卡片:基础体系支持案例迁移。
原书依据 · 1 处
S1 春节特别策划:高并发下如何发现和排查问题?
故障排查先把症状变成可检查的时间、节点和资源证据,再逐步比较解释。压测能发现迁移问题,修复后重测检验是否复现;日志和监控帮助从慢请求、周期抖动等现象缩小范围。后台任务与故障同一时间出现只是线索,仍须证明具体行为怎样造成影响。
服务端指标正常但用户仍感到接口变慢时,问题可能位于服务端监控边界之外。客户端监控能观察真实请求耗时、错误码和用户体验,例如外网带宽耗尽导致丢包与504;它应与服务端指标互补,而非替代后端监控。 相关卡片:客户端监控补足服务端盲区。
迁移上云的压测暴露Redis响应波动后,团队请厂商修复并再次压测;未再出现同类症状,形成针对该问题的验证证据。这里关注“修复—复测”的闭环,区别于峰值前全面发现瓶颈。结论受环境和流量代表性限制,一次未复现不能保证生产绝对安全。 相关卡片:修复后压测验证问题是否复现。
响应变慢、SLA下降或队列堆积只是故障表象,不能单独证明根因。把监控、日志和资源信号按时间串联,形成可证伪假设,再检查它能否解释受影响对象和恢复过程;只消除表象可能让真实故障继续潜伏。 相关卡片:从故障表象推理根因。
间歇或局部故障难以从单次日志定位时,可按发生时刻、重复周期、受影响节点和恢复顺序分组,寻找共性后再验证。注册中心案例中,异常只集中在一台服务器且跨午夜恢复,逐步把排查范围收敛到该机时钟;共性是线索,不是因果证明。 相关卡片:按时间和节点归纳故障共性。
周期性慢请求要把应用症状与后台活动的时间线对齐。原书案例将凌晨Redis慢请求与BGSAVE联系起来,作为追查方向。补充边界:BGSAVE派生子进程进行快照,父进程继续服务;fork等阶段可能引入延迟,不能把整个后台保存期间都说成请求阻塞。时间相关性还须结合任务行为和资源观测验证。 相关卡片:后台任务可能造成周期性抖动。
注册中心用心跳时间与本地时钟判断节点健康时,节点时钟错误可能让健康服务被误标为不可用。遇到周期性误报,应核对心跳记录、节点时间和对时周期;案例中不同对时间隔导致异常跨午夜恢复,修正后不再出现,但该处理依赖具体时钟故障证据。 相关卡片:时钟偏差会误判节点心跳。
Redis 3.0案例中,内存释放卡顿先造成响应变慢,客户端误判连接异常后短时新建连接;内存接近上限时,新增连接又推动Key淘汰,淘汰消耗CPU并进一步放大延迟。区分起因与反馈环,需结合连接数、淘汰、CPU、网络包和实现路径验证;此为历史版本案例,不可直接外推到当前版本。
结构图:
mermaid
flowchart TD
A[Redis释放内存偶发卡顿] --> B[请求响应变慢]
B --> C[客户端误判连接故障]
C --> D[短时新建连接并异步关闭旧连接]
D --> E[连接数上涨]
E --> F[内存近满时淘汰Key]
F --> G[CPU负载上升]
G --> B
相关卡片:慢请求引发Redis淘汰循环。
CPU负载升高时,单看总体利用率难以定位消耗来源。先观察负载,再结合线程栈、运行队列、阻塞进程、上下文切换或系统调用等信号,逐步区分应用线程与系统操作;原书工具组合属于当时的排查示例,实际命令和权限应按目标系统版本核对。 相关卡片:CPU排查要结合线程和调度信号。
Java堆转储只能帮助分析堆内存;若进程占用持续增长而堆分析无法解释,应把堆外内存纳入假设,并检查进程映射与本地调试证据。原书举例用pmap和GDB寻找线索;这不是泄漏确诊步骤,使用前需核对目标运行时、权限和工具版本。 相关卡片:堆外内存泄漏要看进程映射。
S2 春节特别策划:我们如何准备抵抗流量峰值?
抵抗峰值先知道流量会经过哪些依赖,再为最薄弱环节准备措施。切流、扩容、降级和限流改变的对象不同,需要前置条件和恢复路径;逐组件盘点与全链路测试相互补足。预案也要覆盖网络与跨机房链路,不能只数应用机器。
日常流量不高却可能因成功活动、节日或业务增长突然放大,系统容量准备不能只看当前负载。提前梳理峰值场景并验证预案,可减少技术短板拖累业务的风险;准备范围应基于可说明的活动假设,不把某次明星直播的规模直接套用到其他系统。 相关卡片:业务增长前要准备峰值预案。
制定峰值预案前先画出端到端调用与数据链路,把负载均衡、服务、数据库、缓存、网络及依赖资源都视为可用性责任范围。只扩容应用层会漏掉真正瓶颈;链路图还应标清部署位置、跨机房连接和备用路径,供后续逐段核查。 相关卡片:调用链盘点不能漏掉依赖组件。
链路盘点不能止于服务器CPU和应用响应;入口/出口带宽达到上限也会让请求在到达服务前失败。高峰期客户端出现错误而服务端性能指标正常时,应把负载均衡带宽和客户端观测纳入同一条证据链,避免误以为应用层扩容就能解决。 相关卡片:入口带宽也会成为瓶颈。
入口、代理和服务多层链路变慢时,可统一收集各层访问日志,比较请求量、响应时间与慢请求,再定位最先出现异常的阶段。原书以Nginx云盘I/O瓶颈为例;“最下层慢”只是该书的定位启发,实际系统需校准埋点边界、异步调用和时间同步,不能机械套用。 相关卡片:分层日志帮助定位慢请求层。
跨机房调用会把专线带宽与稳定性引入服务可用性边界;线路或网络设备故障也可能影响服务。峰值预案应先确认依赖服务的部署机房,再评估调用是否跨线及线路余量,而不是只检查两端机器资源;具体容量阈值需按实际链路测量。 相关卡片:跨机房线路也需容量评估。
逐组件盘点能列出已知风险,却难以覆盖交互后的隐藏瓶颈;全链路压测可以系统观察流量经过各组件时的承载表现,并作为发现问题的主要手段。压测须有隔离、授权和止损方案,结果只支持被测环境与负载假设,不保证真实峰值绝对安全。 相关卡片:全链路压测用于系统化找瓶颈。
多机房系统可在负载均衡层跨专线切流,响应快但依赖线路且会增加延迟;也可从DNS端切换,避开机房专线却受缓存影响、收敛较慢。选择应比较故障场景、线路稳定性和可接受延迟;若没有多机房部署,切流本身并不可用。 相关卡片:切流方式换速度和依赖。
扩容不只是增加应用服务器,也要检查数据库/缓存读能力、缓存副本以及机房专线带宽和冗余。若只扩大上游处理能力,压力可能转移到依赖或链路;扩容方案应对应已识别的瓶颈,并评估同步、成本和回退约束。 相关卡片:扩容要覆盖服务与基础设施。
峰值时临时申请资源容易在故障压力下忙中出错;已识别的扩容资源应提前准备,必要时在高峰前完成扩容。提前备量仍需容量依据、成本核算和回退计划,不能把“多准备”当作不受约束的无限扩容。 相关卡片:容量资源应在高峰前备齐。
降级通过暂时关闭次要功能保护整体稳定,但未验证的开关可能无法按预期工作或误伤核心路径。应在测试环境或业务低峰验证策略及恢复方式;原文只给出验证原则,不提供可直接套用的功能优先级或生产操作步骤。 相关卡片:降级策略应提前验证。
流量超过系统承载时,预案可改变流量去向、增加处理能力、关闭次要功能或限制进入量。切流和扩容依赖多机房/预备资源,降级依赖已验证的功能边界,限流用于无法切流或扩容时保护系统;这是选择工具的框架,不是固定执行顺序。
结构图:
mermaid
flowchart TD
A[预计流量超过当前承载] --> B{已识别瓶颈与约束}
B --> C[切流:改变流量去向]
B --> D[扩容:增加处理能力]
B --> E[降级:关闭次要功能]
B --> F[限流:限制进入量]
C --> G[按预案保护系统稳定]
D --> G
E --> G
F --> G
相关卡片:峰值治理是四类流量操控。
原书依据 · 11 处
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
- 春节特别策划:我们如何准备抵抗流量峰值? · 查看原书依据
T2 结课测试:高并发系统设计的相关知识,你都掌握了吗?
结课测试说明共有20题,由外部系统评分;本地EPUB未提供题干或答案。它提示读者检验学习效果,但不能把外链存在当作已经完成测试。
跨章综合
分片、缓存和消息的共同问题,是状态由单一位置变成多处协作后,旧值、延迟与重复怎样产生。主从延迟与缓存失效窗口都要求先说明业务能容忍的陈旧程度;消息确认与业务幂等则分别处理传输进度和业务结果,不能互相替代。
服务化把局部模块变成远程依赖,连接池、超时和熔断因此应共同预算资源:慢依赖占住工作线程,积压又加重延迟,单纯扩大池可能把压力推给数据库。监控提供总体信号,追踪帮助定位单次请求,压测在特定负载下发现薄弱环节,三者回答不同问题。
计数和信息流展示为什么不存在统一最优架构。推送用发布扇出换读取便利,拉取用读取合并换较轻发布;未读快照用差值计算减少扫描。每个收益都依赖业务访问分布,最终需要在给定容量、延迟与一致性目标下检验。
发散与实践
读者延伸:先围绕一条实际链路或一件已结束故障整理证据,比直接移植整套高并发组件更容易检验理解。已交付“复盘一次故障的证据时间线”和“为一条服务链路做峰值预案推演”两项计划。首项已整理原书案例和Redis官方材料的支持/未知表;第二项规定只读盘点对象、前置条件与恢复路径。完整现实复盘和峰值演练尚未执行,计划存在不代表系统已经验证。