知识卡片

普通读书笔记卡 · 5282

资源耗尽的连锁副作用

理解等级:中级

CPU 不足时请求整体变慢,引出一串副作用:在途请求增多,挤占内存、线程、文件描述符和后端资源;队列变长,延迟和内存一起上升;线程卡在锁上答不了健康检查而被杀;看门狗误判进程卡死;客户端 RPC 超时,已做的工作作废并引发重试;CPU 越忙,核心本地缓存越易失效。线程不足会让健康检查失败,文件描述符不足则建不了连接。发散:排查单项资源不足时,同时核对在途请求、队列和健康检查,避免遗漏被它拖累的资源。参见[[GC死亡螺旋:资源相互依赖的级联恶化]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 处理连锁故障 · 查看原书依据

      文件描述符 文件描述符(file descriptor)不足可能会导致无法建立网络连接,进而导致健康检查失败。 资源之间的相互依赖 注意,很多资源的耗尽都会导致其他资源出现问题—某个服务过载经常会出现一系列次级现象看起来很像根本问题,这会使定位问题更困难。 假设如下场景: 1.某Java前端服务器GC参数没有被调优。 2.在高负载(但是在期待范围内)情况下,前端由于GC问题导致CPU不足。

    参考来源

    - 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`) - 结论依据:原文按 CPU、内存、线程、文件描述符列出资源耗尽的影响,并提醒许多次级现象看起来像根本问题。 - 原始内容:注意,很多资源的耗尽都会导致其他资源出现问题—某个服务过载经常会出现一系列次级现象看起来很像根本问题,这会使定位问题更困难。