强制缓存的演进
强制缓存约定某时点前资源不变,客户端可直接用本地副本。HTTP/1.0 的 Expires 用绝对时间,有三个问题:依赖客户端时钟,改系统时间就能让缓存失效或超期;分不清资源是否私有;无法表达“不缓存”。HTTP/1.1 的 Cache-Control 用max-age 避开时钟,用 public/private 声明能否共享,用 no-cache 与 no-store 区分“需重新验证”和“禁止保存”。
主题对照
从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。
强制缓存约定某时点前资源不变,客户端可直接用本地副本。HTTP/1.0 的 Expires 用绝对时间,有三个问题:依赖客户端时钟,改系统时间就能让缓存失效或超期;分不清资源是否私有;无法表达“不缓存”。HTTP/1.1 的 Cache-Control 用max-age 避开时钟,用 public/private 声明能否共享,用 no-cache 与 no-store 区分“需重新验证”和“禁止保存”。
很少有人能承诺资源多久不变,协商缓存改为每次带凭证问服务器“变了没有”,没变就回 304。Last-Modified 用修改时间做凭证,简单但只精确到秒,一秒内多次修改或内容未变而文件重生成都会误判;ETag 用内容哈希做凭证,精度最高,代价是每次都要计算哈希。服务端通常先验 ETag 再比 Last-Modified 兜底。强制缓存与协商缓存也不互斥:前者未过期直接用,过期或被禁用时后者接手。
DNS把域名翻译成IP并不是查电话本式的一对一映射,而是一条逐级委托的递归 查询链:客户端先查本地缓存(以TTL衡量存活期),没有就问本地DNS;本地 DNS按”该域名的权威服务器→其上级域→再上级域→……→根域名服务器”的顺序 查找,一路缓存空白的话最终一定能查到根域名服务器(全球仅13组,通过任播 建立上千个镜像,因为DNS走UDP传输、512字节的包最多能塞下13组地址)。真正 决定”翻译结果是什么”的是”权威域名服务器”这个环节——它可以根据访问者 所在地区、运营商等因素,对同一个域名返回不同的A记录,把用户路由到最合适 的数据中心,这就是”智能线路”的原理,也是内容分发网络能够工作的基础 (见[[CDN靠CNAME导流]])。DNS这套多级委托+按需缓存的 设计,正是本章”透明多级分流系统”最典型的示范:全球流量被逐级分散到不同 层级的服务器上,普通用户全程无感知。
结构图:
flowchart LR
A[客户端本地DNS缓存] -->|未命中| B[本地DNS服务器]
B -->|递归查询| C[根域名服务器]
C -->|返回cn的权威服务器地址| D[顶级域权威服务器]
D -->|逐级委托| E[com.cn/该域名的权威服务器]
E -->|权威DNS按访问者地区/运营商返回不同A记录| F[最合适的数据中心/CDN节点IP]
DNS 递归链越靠末端越不安全:根和顶级域服务器防护严密,运营商提供的本地 DNS 却相对松懈,甚至主动劫持解析、把用户导向自己的地址注入广告。根源在于传统 DNS 走不加密的 UDP,中间任何一环都能篡改。HTTPDNS 把解析包装成 HTTPS 查询服务,由客户端直接请求权威或可信的解析服务,绕开最薄弱的本地 DNS,顺带解决解析慢、来源 IP 不准、线路调度错误等问题。本质是绕过不可信中间层换取端到端可信。
HTTP 传输的对象数量多、时间短、资源小,TCP 却为长时间大数据传输设计,建连要三次握手,还有慢启动。这种错配催生了 YSlow 等前端优化规则:合并资源减少请求、按域名分片扩大并发、压缩、避免重定向。但它们是在协议错配上打补丁,协议一演进就可能变成反模式:HTTP/2 多路复用后,刻意合并资源不仅没必要,还会削弱头部压缩效果,见[[HTTP/2多路复用]]。针对协议细节的优化,保质期绑定在协议版本上。
[[前端优化规则会过期]]里”扩大并发连接数” 这条优化,源于HTTP/1.x的持久连接(Keep-Alive)虽然省去了重复建连的成本, 却带来”队首阻塞”问题:多个资源排在同一个TCP连接的FIFO队列里,若队首的 请求耗时很长,后面的资源即使服务端已并行算完,也无法插队返回——因为只 用一个连接传输多个资源,数据一旦交叉传输,客户端就分不清哪个包属于哪个 资源。HTTP/2用”帧”(Frame)取代”请求”作为最小传输单位彻底解决这个问题: 每个帧都带一个流ID标明自己属于哪个逻辑”流”(Stream),同一个TCP连接里 不同流的帧可以任意穿插传输,客户端凭流ID轻松重组出完整的请求/响应—— 这就是HTTP/2多路复用。有了它,每个域名只需要维持一个TCP连接(One Connection Per Origin),域名分片、合并雪碧图这类”用Tricks换并发”的 手段全部失去意义,甚至因为破坏HTTP/2基于字典编码的Header压缩效果(同一 连接上产生的请求越多,字典积累越全、压缩效果越好)而变成反模式。但多路 复用没有解决大文件传输问题——一个TCP包错误仍会导致所有流等待重传,这 是[[QUIC自建可靠传输]]要解决的下一个问题。
结构图:
flowchart TD
A[HTTP/1.x: 请求是最小传输单位] -->|同一连接内请求排队FIFO| B[队首阻塞: 前面耗时请求堵住后面]
B -->|Tricks: 域名分片/合并资源| C[副作用: 缓存失效/DNS负担/压缩变差]
D[HTTP/2: 帧Frame是最小传输单位] -->|每帧携带流ID| E[同连接内不同流的帧可任意穿插]
E --> F[客户端按流ID重组请求响应]
F --> G[单域名单连接 One Connection Per Origin]
持久连接复用同一 TCP 连接传多个资源,就需要在不断开连接的情况下判断单个资源何时传完,最初靠 Content-Length 预告总长度。这与即时压缩冲突:服务器边压缩边输出,发送头部时还不知道压缩后的大小。HTTP/1.1 的分块传输编码把响应拆成一系列带长度标记的块,以长度为 0 的块表示结束,判断传完不再依赖预知总长度。HTTP/2 后连接复用问题消失,但分块与压缩仍有价值。
[[HTTP/2多路复用]]解决了应用层队首阻塞,但 TCP 要求按序可靠到达,一个包丢失会让同连接上所有流等待重传。QUIC 放弃 TCP,在 UDP 上自建可靠传输,带来两点收益:可按流单独做错误控制;用不依赖 IP 的连接标识符,设备在 Wi-Fi 与移动网络间切换时无需重新握手。由于许多中间设备对 UDP 支持不佳,Chromium 同时建立 QUIC 与 TCP 连接,QUIC 失败时零延迟回退 TCP。
CDN把用户请求导向最近缓存节点的秘密,正是[[DNS解析与智能线路]]中”权威DNS可以按策略返回不同结果”这个能力的具体应用。 接入CDN时,源站IP会被注册成CDN服务商的一个”源站”,得到一个CNAME;网站 自己的DNS服务商把这个CNAME设置为域名的解析记录。此后每次用户访问,本地 DNS递归查到的不再是源站IP,而是先解析出这个CNAME,再由CDN服务商架设的 权威DNS接管:这个权威DNS根据拓扑结构、容量、时延等参数,从全国各地的 CDN节点中挑一个当前最合适的,把它的IP当作最终结果返回。浏览器全程以为 自己访问的就是源站,实际上是被DNS的CNAME链条”调度”到了缓存节点——用户 和源站都对这次调度无感知,这正是CDN”透明”二字的技术根基:不是CDN节点 主动拦截流量,而是DNS解析结果一开始就没有指向源站。
结构图:
sequenceDiagram
participant U as 用户浏览器
participant L as 本地DNS
participant D as 网站DNS服务商
participant C as CDN权威DNS
participant N as CDN缓存节点
U->>L: 查询 icyfenix.cn
L->>D: 递归查询
D-->>L: 返回CNAME (icyfenix.cn.cdn.xxx.com)
L->>C: 查询该CNAME
C->>C: 按拓扑/容量/时延挑选最优节点
C-->>L: 返回该节点IP (代替源站IP)
L-->>U: 返回节点IP
U->>N: 访问该IP (以为是源站)
[[CDN靠CNAME导流]]只把请求导向节点,节点上还得有资源副本,这就是内容分发。主动推送由源站把内容推到边缘节点,时机方式可自定,需要源站与 CDN 接口配合,适合大促前预先铺货这类可预知场景。被动回源在用户首次访问时由节点实时从源站拉取,首次较慢,但源站无需任何配合,是小站点接入的主流方式。资源失效也无统一标准,常见做法是超时被动失效与发布时主动刷新结合,而非单纯依赖 HTTP 缓存头部。
原书用收发能力确认解释TCP三次握手:客户端发起,服务端回应,客户端再确认。理解重点是双方交换连接状态与初始序号,不能把这个教学说明推广成所有通信协议必须用奇数次交互。握手成功也不保证之后的业务请求永不超时。
主动关闭的一方通常在TIME_WAIT保留一段时间,以便再次确认对端重传的FIN,并降低旧连接报文干扰四元组重用的风险。原书采用2×MSL模型,具体持续时间依实现而异,不应固定写成所有平台约240秒。连接复用能减少频繁建连关闭的成本,主动关闭责任仍应结合协议与资源设计。
原书介绍早期QUIC的前向纠错设想:为一组数据增加冗余,使有限丢失可由剩余数据恢复,减少重传等待;超过恢复能力仍需重传。这是以带宽换延迟的历史案例,不能据此声称IETF QUIC普遍采用RAID5或每十包一个冗余包。当前标准应另查RFC 9000及配套恢复协议。
Nginx 既能做反向代理,也能做静态文件服务器。图片、HTML、CSS、JS 等静态文件直接由 Nginx 返回,不经过 Web 服务器,可大幅减轻 Web 服务器压力。发散:请求越早在链路上被满足,后端要承受的流量就越少。
Nginx 的 Worker 使用事件驱动和多路复用处理连接,能减少大量空闲连接对应的线程开销;Master 负责配置与进程管理。实际内存和吞吐取决于请求、模块、缓存及配置,书中 3 万连接约 150MB 不是通用指标。Apache httpd 也有 event、worker 等不同 MPM,选型应按负载实测。与[[Reactor的两大角色]]相连。
HTTP 的请求语义可独立解释:请求带方法和目标,响应带状态;协议本身不凭连接记住用户会话,应用可用 Cookie、令牌等关联状态。HTTP/1.1 可在连接上连续交换多个请求响应,HTTP/2 可多路复用;HTTP/3 则运行于 QUIC。消息体是否存在及边界由版本和报文规则决定,不能概括为每个请求都要断开 TCP。
HTTP/1.1 默认持久连接,同一连接可承载多个请求与响应;任一方可用 Connection: close 表示不再复用。管道允许客户端未等前一个响应就发送后续请求,但响应必须按请求顺序返回,易受前序慢响应影响。Host 让同一地址承载多个虚拟主机,HTTP/1.1 请求缺少或重复 Host 应返回 400;浏览器连接数不是协议固定值。
上传大请求体前,客户端可在同一请求的首部加入 Expect: 100-continue 并等待;服务端可先给最终拒绝响应,或回临时的 100 让客户端继续发送内容,100 不代表鉴权成功。下载时用 Range: bytes=起点-终点 请求部分表示,服务器可回 206 和 Content-Range,也可能忽略范围回完整 200;断点续传还应校验资源版本。
HTTP/1.1 在消息体长度事先未知时可用 Transfer-Encoding: chunked 边产生边发送:每块以前缀的十六进制长度和 CRLF 定界,以零长度块、可选尾部字段和空行结束。分块属于同一条消息,首部只出现一次;成帧不依赖连接是否持久。带 Transfer-Encoding 的消息不得再发送 Content-Length,接收端须按分块规则找边界。
HTTP/2 保留 HTTP 方法、目标、状态码等语义,改变消息的传输表示:字段块由 HEADERS 等帧承载,内容由 DATA 帧承载,帧归属于流。多个流的帧可在同一连接交错传输,接收端按流重组;这让多路复用成为可能。是否采用 HTTP/2 取决于双方协商与部署,不能把“回退到 1.1”视为所有失败场景的保证。
HTTP/2 用 HPACK 压缩字段块,利用静态表、动态表和编码减少重复字段开销,并非后续请求头恒为零字节。多个流的帧可在同一 TCP 连接交错发送,降低重复建连成本;单一 TCP 连接仍共享拥塞控制,也可能受丢包影响。服务端推送是可选能力,须双方允许。收益取决于负载、网络和实现,不能断言延迟或内存必降。
HTTP/1.1 的起始行和首部行以 CRLF 结束,空行结束首部;请求体边界需按消息规则判定:可由 Content-Length 给出,或由最终的 chunked 传输编码给出,二者都没有的请求通常在首部后结束。不能把“缺少 Content-Length”直接等同于分块。Netty 的 HttpRequestDecoder 实现解析,首行、首部与内容长度均应限制。与[[四种内置帧解码器]]相连。
短轮询定期请求新消息:间隔短会增加空响应和请求开销,间隔长会提高发现延迟。长轮询在暂无消息时暂缓响应,收到消息或超时后再由客户端发起下一轮,通常能减少空响应;连接、超时和服务端容量仍需规划。两者都是按请求取得更新,适用性取决于消息频率与延迟目标。
WebSocket 提供持久的双向消息通道,双方在握手完成后都可主动发送帧。HTTP/1.1 常用 Upgrade 建立连接;HTTP/2 可用扩展 CONNECT,因此不能概括为“只借 HTTP 握手”。浏览器可连接跨源 WebSocket,但会发送 Origin,服务端须校验来源并实施认证授权。ws:// 与 wss:// 分别表示非加密与 TLS 连接。
HTTP/1.1 WebSocket 握手用 GET 和 Upgrade、Connection、Sec-WebSocket-Version、Sec-WebSocket-Key 请求头;同意时服务端返回 101。Accept=Base64(SHA-1(Key+固定 GUID)),客户端据此确认服务端理解协议,并非加密或身份认证。HTTP/2 扩展 CONNECT 则不使用 101。
原书列出的收益:应用初始分发后,客户端与服务器端只收发数据,不再重复返回HTML标记,事务处理更轻;先加载Shell和少量支持文件、导航时动态构建,启动感觉更快。这些收益是有条件的:首包仍要下载和解析JS、CSS,高频交互、数据密集型应用更受益,内容型站点未必划算,应实测首屏与后续导航。
SSR应用若把静态资源也放进函数输出,每次页面请求都会引发大量静态资源请求,函数并发高、易冷启动,还要多经网关,拖慢加载。更好的做法是部署时把静态资源统一上传对象存储,生产环境再配CDN,函数只负责渲染页面。
Serverless下静态资源应由对象存储配合CDN对外提供。若图片、CSS、JS都经函数暴露,既会降低函数处理业务逻辑的并发度,又会增加成本;迁移Wordpress这类已有程序时尤其要拆开,否则高并发下性能和成本都受考验。请求是否需要业务逻辑参与,是它该不该经过函数的分界线。
缓存按变化频率分两类:vendor.js、图片这类少变资源设一年长缓存;index.html、app.js这类常变入口每次都向服务器检查新版本。长缓存的文件要更新,不去清缓存,而是换名:在文件名后附版本号、标签或摘要,并在index.html里改引用新名,浏览器自然会取新文件。
高并发下HTTP/1.1一个请求占一个连接,连接数爆炸:文件描述符耗尽,Go为每个连接分配的缓冲区还会把内存撑到OOM。HTTP/2把数据拆成二进制帧,一个TCP连接上用流ID并发传多个请求,连接数骤降。内部链路用去掉TLS的H2C省开销;对只支持HTTP/1.1的旧运行时做协议探测,兼容而不强迫升级。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/4
134 张卡片
来源书籍
高并发网络编程类
书籍类型:工程实践
清单覆盖 7/7
193 张卡片
来源书籍
系统架构类。
书籍类型:未标注
类别清单尚未核对
180 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 6/6
30 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 5/5
42 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
25 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/7
18 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
74 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
流量接入与负载均衡类
书籍类型:工程实践
清单覆盖 7/7
59 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
100 张卡片
来源书籍
系统架构类
书籍类型:经典原理
清单覆盖 6/6
237 张卡片
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 5/5
75 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/6
94 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
44 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 6/6
51 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
书籍类型:未标注
43 张卡片
来源书籍
书籍类型:未标注
32 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
146 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较 HTTP 缓存、DNS 解析、HTTP/2 与 QUIC、分块传输与 CDN 等加速和分流手段。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
与 4 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;属于相同分类