知识卡片
宝可梦GO的同步重试风暴
背景:2016 年夏《宝可梦 GO》上线,Niantic 按最乐观估计的 5 倍做了负载测试,实际启动请求速率却接近估计的 50 倍;游戏世界高度交互、全球共享,同一区域的玩家看到同一视图,需要近实时地分发状态更新。
迁移前架构:区域网络负载均衡器(NLB,IP 层)后面是 Kubernetes 集群中的 Nginx 七层代理。问题:Nginx 要终止 SSL(客户端到代理两次往返);要缓冲客户端 HTTP 请求,慢客户端会耗尽代理资源;包级代理挡不住 SYN Flood 等低层攻击;需要在大型边缘网络上运行的高级代理。
一次大规模 SYN 洪水攻击促使迁移到 GCLB(与 Google CRE、SRE 合作)。低谷期切换顺利,高峰时真实需求比此前观察到的还高 200%;Niantic 前端代理来不及接受连接,被拒绝的连接甚至不出现在入站监控里。
级联故障:Cloud Datastore、游戏后端、API 服务器和负载均衡本身都超出可用容量;后端变慢而不是拒绝,表现为负载均衡层超时;负载均衡器对 GET 重试,叠加负载;GFE 的 SSL 客户端代码不断重连无响应的后端,GFE 性能严重下降,GCLB 全球容量实际降了约 50%。客户端重试策略是“立即重试一次,再持续退避”;后端(如共享后端重启时)有时返回大量快速错误,让客户端重试同步,形成“惊群”——同步请求峰值达到此前全球 RPS 峰值的 20 倍。
处置(Google 流量值班 SRE):把能服务宝可梦流量的 GFE 从主池中隔离出来,减少对其他 GCLB 用户的附带损害;扩大隔离池直到能承受峰值——瓶颈转移到 Niantic 自身;经 Niantic 同意,在负载均衡器上限制接受的流量,让 Niantic 恢复正常运营并开始扩容。
改进:Niantic 在客户端引入带抖动的截断指数退避;Google 把 GFE 的后端视为重要的负载来源,增加检测“后端慢或异常导致 GFE 性能下降”的资格鉴定和负载测试;双方都认识到要尽可能靠近客户端测量负载——若能准确预测 RPS 需求,迁移前就会预分配更多资源。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 管理负载 · 查看原书依据
Niantic向其客户端引入了抖动,截去了指数级重试3,从而抑制了级联失败期间经历的大量同步重试峰值。