知识卡片

普通读书笔记卡 · 1622.a

宝可梦GO的同步重试风暴

理解等级:高级

背景:2016 年夏《宝可梦 GO》上线,Niantic 按最乐观估计的 5 倍做了负载测试,实际启动请求速率却接近估计的 50 倍;游戏世界高度交互、全球共享,同一区域的玩家看到同一视图,需要近实时地分发状态更新。

迁移前架构:区域网络负载均衡器(NLB,IP 层)后面是 Kubernetes 集群中的 Nginx 七层代理。问题:Nginx 要终止 SSL(客户端到代理两次往返);要缓冲客户端 HTTP 请求,慢客户端会耗尽代理资源;包级代理挡不住 SYN Flood 等低层攻击;需要在大型边缘网络上运行的高级代理。

一次大规模 SYN 洪水攻击促使迁移到 GCLB(与 Google CRE、SRE 合作)。低谷期切换顺利,高峰时真实需求比此前观察到的还高 200%;Niantic 前端代理来不及接受连接,被拒绝的连接甚至不出现在入站监控里。

级联故障:Cloud Datastore、游戏后端、API 服务器和负载均衡本身都超出可用容量;后端变慢而不是拒绝,表现为负载均衡层超时;负载均衡器对 GET 重试,叠加负载;GFE 的 SSL 客户端代码不断重连无响应的后端,GFE 性能严重下降,GCLB 全球容量实际降了约 50%。客户端重试策略是“立即重试一次,再持续退避”;后端(如共享后端重启时)有时返回大量快速错误,让客户端重试同步,形成“惊群”——同步请求峰值达到此前全球 RPS 峰值的 20 倍。

处置(Google 流量值班 SRE):把能服务宝可梦流量的 GFE 从主池中隔离出来,减少对其他 GCLB 用户的附带损害;扩大隔离池直到能承受峰值——瓶颈转移到 Niantic 自身;经 Niantic 同意,在负载均衡器上限制接受的流量,让 Niantic 恢复正常运营并开始扩容。

改进:Niantic 在客户端引入带抖动的截断指数退避;Google 把 GFE 的后端视为重要的负载来源,增加检测“后端慢或异常导致 GFE 性能下降”的资格鉴定和负载测试;双方都认识到要尽可能靠近客户端测量负载——若能准确预测 RPS 需求,迁移前就会预分配更多资源。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第11章《第11章 管理负载》11 案例研究1:GCLB上的PokémonGO(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/17.html,来源项目 book-sources) - 结论依据:第11章案例1说明宝可梦GO实际流量达估计50倍、迁移GCLB时真实需求再高200%,后端变慢、负载均衡重试与GFE重连导致GCLB容量降一半,客户端同步重试形成20倍惊群;SRE通过隔离GFE池、扩容并限流处置,事后引入抖动截断指数退避、GFE后端负载测试和靠近客户端测量负载。 - 原始内容:Niantic向其客户端引入了抖动,截去了指数级重试3,从而抑制了级联失败期间经历的大量同步重试峰值。