知识卡片
资源耗尽的连锁副作用
CPU 不足时请求整体变慢,引出一串副作用:在途请求增多,挤占内存、线程、文件描述符和后端资源;队列变长,延迟和内存一起上升;线程卡在锁上答不了健康检查而被杀;看门狗误判进程卡死;客户端 RPC 超时,已做的工作作废并引发重试;CPU 越忙,核心本地缓存越易失效。线程不足会让健康检查失败,文件描述符不足则建不了连接。发散:排查单项资源不足时,同时核对在途请求、队列和健康检查,避免遗漏被它拖累的资源。参见[[GC死亡螺旋:资源相互依赖的级联恶化]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第22章 处理连锁故障 · 查看原书依据
文件描述符 文件描述符(file descriptor)不足可能会导致无法建立网络连接,进而导致健康检查失败。 资源之间的相互依赖 注意,很多资源的耗尽都会导致其他资源出现问题—某个服务过载经常会出现一系列次级现象看起来很像根本问题,这会使定位问题更困难。 假设如下场景: 1.某Java前端服务器GC参数没有被调优。 2.在高负载(但是在期待范围内)情况下,前端由于GC问题导致CPU不足。
参考来源
- 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`)
- 结论依据:原文按 CPU、内存、线程、文件描述符列出资源耗尽的影响,并提醒许多次级现象看起来像根本问题。
- 原始内容:注意,很多资源的耗尽都会导致其他资源出现问题—某个服务过载经常会出现一系列次级现象看起来很像根本问题,这会使定位问题更困难。